icon当我们提到数据湖时, 我们在说什么……icon

数据湖是现代化海量大数据技术架构,有更高的敏捷度、灵活度以任意规模存储所有结构化和非结构化数据,通过运行多种类型的分析计算,挖掘数据的价值。

任意类型数据
按照原始数据格式存储和分析
更敏捷
Schema on Read
支持各类异构数据格式
兼容数据库和数据仓库
共享存储、存算分离
同一份数据被多个计算引擎消费
更灵活
单一真实来源,数据一致性
数据无需加载移动, 被直接分析
数据可以被轻松共享
Iceberg湖上建模
新一代表格式构建数据湖系统
保障ACID,支持同时读写
支持高吞吐和高并发
支持回滚和删改
支持流、批处理
icon数据湖技术发展趋势icon
icon数据湖是数智时代新趋势,而云是最佳实践场所icon
云原生数据湖优势
更高的数据敏捷度
更优的数据性价比
更强的数据智能化
更多的业务价值发现
云计算基本特性
多租户
弹性伸缩
免运维
高可用
按使用付费
icon云上数据湖核心优势icon
企业自建挑战
技术复杂性高:需要数名资深工程师才能管理运维数据湖系统。资源成本高:计算存储资源无法提前,准确估算,成本非常高。运维基础设施匮乏:迁移、容灾备份、监控、异常告警等运维设施匮乏。技术抗风险能力弱:开源技术众多,使用规范不统一,企业难以应对技术的高速发展。
云上数据湖核心优势
高性价比:冷热分层处理优化成本,业务高低谷期资源弹性,技术和运维的门槛更低。高敏捷度:庞大数据量的高效查询,流批场景更灵活简单,跨多个数据源联合分析。更智能化:音视图文的智能化处理,提供业界领先的AI算法,支持在线/近线/离线多场景。安全加固:数据存储安全可靠,流量和数据异常检测,漏洞和威胁及时发现。
icon数据湖计算 DLC ——云原生企业级数据湖解决方案icon
大数据内核技术增强 稳定、安全、高性能

极致引擎性能:统一spark、presto引擎的SQL语法, 覆盖交互式、离线分析场景。Alluxio local cache + 亲和性调度方案Sort Benchmark冠军性能增强。稳定性提升:自适应spark shuffle管理,提升ETL稳定性。数据安全增强:VPC 网络和虚拟机隔离,腾讯云安全加固,实现高可靠的数据的安全。

大数据云原生融合 存算分离、成本节约

云原生存储计算分离:基于云原生对象存储的方式实现无限拓展、弹性伸缩。云原生算力融合:TKE提供以容器为核心高度可扩展高性能容器管理。EKS 容器化云原生算力调度。云原生数据服务生态:Oceanus、数据湖构建DLF数据实时入湖,湖仓融合架构,数据无缝流转,融合WeData数据开发与治理平台。

轻量化敏捷体验 体验流畅、无需运维

智能化算力调度:基于时间/任务负载的容器化云原生(EKS)算力调度。presto,spark多引擎智能调度。控制台流畅交互:丰富的控制台交互能力,SaaS化体验,开箱即用。免运维体验:大数据专家团队一体化支撑,无需关注底层架构和服务运维。

icon数据湖计算DLC架构图icon
icon数据湖计算DLC:四大产品优势打造云原生企业级数据湖解决方案icon
icon产品优势——技术支撑icon

获得Sort Benchmark全球排序冠军,Iceberg 存储格式,保障 ACID事务性,企业级统一元数据。支持 presto、spark 双引擎 —— 统一多个引擎的SQL语法, 覆盖交互式、离线分析场景。自适应spark shuffle管理,提升ETL稳定性。Alluxio local cache + 亲和性调度方案:缓存配合引擎亲和性加速性能。腾讯⼤数据团队夺得计算奥运会之称的Sort6Benchmark6全球排序竞赛GraySort和MinuteSort的冠军,98.8秒完成100TB6的数据排序。Alluxio local6cache6+6亲和性调度⽅案:⽤极少的缓存来撬动良好的加速效果(3-10倍)。


⽀持 presto、spark6双引擎。

统⼀多个引擎的SQL语法, 覆盖交互式、离线分析场景。

Alluxio提升性能:缓存加速,提升密集型计算性能。采⽤Alluxio local6cache+presto 亲和调度,保证了⾼效的缓存命中。

Iceberg6存储格式,保障数据读写并发的事务能⼒。上游数据写⼊即可见,不影响当前数据处理任务,简化了ETL。提供 Upsert /6MergeInto 能⼒,可以极⼤缩⼩数据⼊库延迟(分钟级)。
icon产品优势——敏捷使用icon

SaaS化产品体验,开箱即用。无需关注底层架构和服务运维,无需选配、安装、调优,开箱即用。丰富的控制台交互能力,数据可视化探索提供更好的产品体验。统一多引擎SQL语法,直接输入SQL开始分析提供20多种云上数据流转快速通道。产品优势——敏捷使用 SaaS化产品体验,开箱即用概览页新⼿指引,快速上⼿。

icon产品优势——成本节约icon

存算分离架构,资源极致弹性,极高性价比。存算分离架构,资源无感伸缩。计算资源自动拉起和自动挂起,包年包月+按量计费组合计费带来弹性成本优势。按数据扫描量计费,数据分区进一步减少成本。存储可靠性,99.9999999999%。服务可用性,99.995%。支持热、温、冷分层存储需求。

icon产品优势——安全可靠icon
细粒度权限控制,腾讯云安全加固
基于腾讯云成熟的 VPC 网络和虚拟机隔离技术,保证租户间网络隔离、资源隔离。VPC 网络和虚拟机隔离技术,保证租户间网络隔离、资源隔离。腾讯云安全加固,实现高可靠的数据的安全,管理员模式管理数据权限。细粒度权限控制,支持列级权限,支持工作组批量授权。细粒度读写分离控制,操作更安全。
icon数据湖计算DLC-云端大数据分析场景全覆盖icon

数据入湖、存储、分析、应用等大数据场景全覆盖,提供云原生数据湖一站式解决方案。

icon海量数据高性能分析icon

DLC采用存算分离的海量大数据分析架构,基于大数据组件容器化实现快速灵活部署,基于云原生对象存储的方式实现无限拓展、弹性伸缩。DLC以低成本、高弹性的云原生解决方案,助力企业建立统一数据资产,最大化发挥性能优势,赋能业务应用敏捷创新。

icon开放高效的联邦分析icon

DLC帮助客户实现由数据库场景无缝升级到大数据场景,企业内部不同部门和业务线通常基于业务体系采用不同的数据架构,业务数据存放在不同的存储系统中,存在数据割裂的情况。DLC支持对多源异构数据进行联合查询分析,包括对象存储、云数据库、其他数据服务等。用户通过统一的数据视图,使用标准SQL 即可实现多源数据联邦分析,打通数据孤岛,发挥数据价值。

icon快速开启云端交互式分析icon

DLC提供开箱即用的SaaS化产品体验,用户无需关注底层架构和服务运维,无需关注选配、安装、调优流程,使用标准SQL即可低成本地在云端快速体验和搭建大数据分析服务。DLC支持PB级数据高并发实时写入、查询,通过控制台轻松访问数据开展BI分析或者即席查询分析,快速获取查询结果。产品支持按数据扫描量计费,用户无需购买集群即可低成本地体验云上数据分析的流程。同时DLC为用户提供了20多种云上数据流转快速通道,解决用户不同诉求。

icon丰富多元的数据科学分析icon

数据湖是AI场景的大数据基座,在经典机器学习场景和深度学习场景下服务用户,DLC提供原生Spark Machine Learning能力 、联合Ti-one、Notebook等AI能力及平台,快速支持各种机器学习能力,在多种智能分析场景下,提供综合性解决方案。DLC将多个行业数据的公共数据集免费开放给用户,无需数据获取、清洗即可直接进入数据分析阶段。产品提供强大的BI能力助力用户通过预测分析实现数据洞察。

icon敏捷快速地搭建数据中台icon

DLC为用户提供统一的元数据视图,消除数据孤岛。 DLC内置企业级统一元数据视图,可以集中管理和使用不同数据源的元数据,构建企业元数据中心,无缝在不同产品和版本之间切换,同一份数据满足用户在各种离线、实时场景中的不同诉求,全方面解决企业各类问题。通过数据的便捷快速流动,可以有机组合不同云上产品的能力和优势,助力企业敏捷快速搭建数据中台。

icon成功案例:某电竞直播-基于DLC数据湖计算实践icon
湖计算性能提升35.5%
计算引擎优化,大幅提升场景化效能
算力资源节约30%+
弹性伸缩,轻松应对业务高峰低谷
综合运行成本降低50%+
运维效能提升,大幅节省人力投入
icon成功案例:某生鲜电商-数据湖多场景计算icon
综合成本降低30%
温冷数据存储节约成本
计算资源弹性伸缩,成本进一步压缩
数据驱动业务
全场景依赖数据分析能力
促销活动期间,计算的峰值资源消耗降低 10%
数据探索赋能业务决策
排障效率提升100%
控制台一站式流畅体验
技术专家高效支持响应,问题快速定位
icon成功案例:某物联网客户-车联网数据分析icon
系统响应提升
spark离线批处理数据
presto交互式分析
查询量大规模减少
按车辆、采集时间分区建模
使用门槛降低
标准SQL,非大数据分析人员直接使用
计算引擎按扫描量计费,分析成本极低
icon更多客户的明智选择icon
数据探索-开启数据查询分析
• 使⽤标准sql开始数据探索
• 不断⽀持探索更加丰富的任务类型
• 夯实查询分析基础能⼒
• 底层计算引擎不断优化
• 数据可视化能⼒,快速⽣成报表
数据管理-数据托管存储
• 提供托管存储能⼒
• ⽆需sql,交互式创建数据库表
• 数据实时、离线、批量导⼊导出能⼒不断完善
• 管理数据⽬录和外部数据源
• 公共数据集建设中
数据任务-sql任务周期设置及工作流编排
• 提供轻量化的任务调度编排⼯具,闭环数据数据任务开发链路,⽅便⽤户快速的进⾏数据开发与应⽤
• ⽀持任务周期设置、⼯作流编排、以及任务调度管理等
数据引擎-引擎资源的监控与管理
• 对资源进⾏统⼀监控、管理
• 变更引擎配置、⼿动进⾏挂起、启动资源
• 创建引擎资源
• 付费信息管理
权限管理-细粒度权限控制
• ⽤户和⼯作组权限管理
• 数据权限管理和引擎权限管理
• 管理员模式
• 细粒度权限控制,操作更安全
• ⽀持列级别查询权限
• 两种授权模式:安全快捷
产品推荐 查看更多>>
    腾讯云GPU云服务器

    腾讯云GPU云服务器是用不同制程架构、不同指令集、不同功能的硬件组合起来解决问题的计算架构。异构计算是性能、成本和功耗均衡的技术,同时也是让最适合的专用硬件去做最适合的事,如密集计算或外设管理等,从而达到性能和成本的最优化。

    推动数实融合,加速全真互联

    开箱即用的AI加速⼯具

    聚焦⾼性能训练集群

    业界领先的GPU容器共享产品

    腾讯千帆河洛SPP SAAS应用场景连接器

    腾讯千帆河洛SPP场景连接可以通过一个可视化的画布配置界面,以无代码的方式,选择触发器和操作,使得场景方案可以在无人工干预下,按照预期自动化运行,场景连接器可以数字化连接企业SaaS应用,自动化串联全平台业务场景,打破信息孤岛,提升企业运转效率

    串联不同SaaS应用,数据无缝流转

    无需人工,自动触发智能运行

    提供大量基于业务场景的方案模板,开箱即用

    可视化操作,人人可用,无需代码知识

    腾讯云企业风控数字化解决方案

    腾讯云企业风控数字化解决方案,涵盖企业工商、司法、财务、税务、发票等多维度数据信息。10分钟自动生成分析报告,有效减少企业尽调审查的人工干预,降低人工成本;定制化风险预警策略,提供风险阈值、预警条件、监测频次、预警方式多样式配置。

    涵盖企业工商、司法、财务等多维度数据信息

    10分钟自动生成分析报告

    有效减少企业尽调审查的人工干预

    提供风险阈值、预警条件多样式配置