腾讯存算分离数据湖解决方案_交互式查询数据湖_机器学习数据湖-云巴巴 -云巴巴

腾讯存算分离数据湖解决方案

腾讯存算分离数据湖解决方案，TBDS多引擎多集群支持Ozone、COS等存储，存储集群的单独部署，实现存算分离。TBDS集成SuperSQL，为数据湖（Hadoop）和数仓（MPP）提供统一的SQL中间件，实现融合计算。通过数据湖直接为Tione/太极、DataInsight提供数据，满足交互式分析、机器学习、数据挖掘等场景。

立即咨询

腾讯存算分离数据湖解决方案简介 icon

存算分离：TBDS多引擎多集群支持Ozone、COS等存储，存储集群的单独部署，实现存算分离。TBDS集成Alluxio，存储挂载支持TBDS-HDFS、Ozone、COS等，并向上支持Hive、Spark、Presto等计算引擎。计算/存储容器化部署，灵活扩容：利用Ozone分布式对象存储和大数据存储的特性实现存储计算的分离。TBDS计算集群容器化，实现计算资源灵活扩容。TBDS集成Tbase/PG，构建数仓，面向上层数仓建设和数据服务。融合分析、开发工具：TBDS集成SuperSQL，为数据湖（Hadoop）和数仓（MPP）提供统一的SQL中间件，实现融合计算。Wedata工具链为数据湖和数仓提供统一的工具，满足数据入湖、数据分析、数仓构建、数据治理和数据服务等场景。通过数据湖直接为Tione/太极、DataInsight提供数据，满足交互式分析、机器学习、数据挖掘等场景。

解决方案的价值

数据湖的应用场景

数据湖应用主要分布于泛互联网（电商、网络广告、社交媒体、游戏、互联网金融等）、泛政务（智慧城市、智慧政府、交通等）、金融（银行、保险等）、工业（工业互联网、能源、制造等）、医疗（基因、影像治疗、诊断等）、汽车（车联网等）以及零售、运营商等其他行业。

数据湖的应用场景

腾讯云数据湖发展历程：十年磨一剑，历经四代演进 icon

腾讯云对于Apache社区的贡献 icon

腾讯主导发布了Hadoop 2.8.4、2.8.5、Spark 2.3.2和Ozone1.0等，也是多个项目的核心贡献者，包括Hadoop 、Spark 、Alluxio、Iceberg、HBase、Hive、MXNet、Parquet等。

信创国产化平台

腾讯云参与多项工委会信创标准和案例评选工作，作为唯一金融大数据解决方案入选《2020年信息技术应用创新解决方案》。与多家国产服务器、国产芯片和国产操作系统厂商建立合作，并进行适配改造，国产化生态丰富。

工信部信息技术应用创新解决方案 icon

腾讯云数据湖方案优势总结 icon

完善的服务支持体系：提供高级现场技术服务+远程技术服务，具备完善的售后服务支撑体系。2小时应急响应，专家现场支持，Apache Hadoop PMC技术专家支持，10多位10+年银行行业数据专家支持，7*24小时热线电话。开放的技术体系：开放生态，保护既有投入资产，全面提升服务交付质量。乐高式组件化设计，可复用行里已有数据产品投资。兼容开源Hadoop，原有Hadoop集群数据，脚本，作业无缝迁移，降低重复开发。学习成本低，市场Apache Hadoop技术人才资源丰富，方便技术人才获取。市场顶级金融行业生态合作伙伴应用开发支持。完整的知识培训体系：借助知识培训体系，通过“扶上马，送一程”机制帮助客户完成知识转移。现场培训，远程培训，视频课件，论坛沙龙。

主要客户

腾讯云内部数据湖平台应用实践 icon

腾讯内部云原生数据湖架构示例 icon

腾讯音乐业务痛点

基于Lambda框架搭建的数据处理和分析平台，两套独立实现，维护成本高。业务数据不断变化，业务方每天将业务数据全量导入到数仓中一次，但是频繁导入数仓会造成极大的业务压力，数据应用时延为T+1。同时缺乏高性能的交互式查询引擎，对于海量数据的查询时间在分钟级（分钟-数十分钟），无法对接报表工具进行高效分析。离线链路问题：整体方案是t+1，不能解决时效性问题。Clickhouse 不支持ACID事务，通过外部逻辑保证clickhouse中数据不重复，流程加长。实时链路问题：使用Oceanus ，计算后把指标数据落地到mysql，一旦指标增加和变化，Oceanus应用计算逻辑需要修改。