支撑内部业务的统一大数据平台 icon

腾讯内部大数据能力的对外商业化输出-TBDS icon

基于TBDS的腾讯音乐曲库数据湖方案实践 icon

数据实时入湖

binlog的流式增量入湖，入湖延时降低到1分钟以内。

分钟级数据分析过程

基于iceberg的数据湖方案，将整体端到端的数据展示时间缩短到分钟级。

秒级查询响应

入湖的数据对下游可立见，下游可以使用结合Presto进行秒级查询，满足交互式查询场景。

基于TBDS的微信支付日志检索实践 icon

微信支付接入Hermes以来，日志量规模从最初的百亿规模增长至现在的万亿级规模，Hermes在存储能力、扩展能力、容灾能力和资源规划能力都经历了海量数据的检验。通过优秀的存储架构使得微信支付可以在海量数据规模下从容的应对业务连续性提出的各种挑战。

基于TBDS实时检索的广告营销服务实践 icon

多业务系统画像

QQ 微信游戏视频，大宽表多维分析，人群洞察，LBS 检索。

多维分析

快速实现大宽表内千亿级数据量的复杂多维分析，即插即查即可见，千亿数据规模下任意维度组合、任意层级下钻的毫秒级分析。

海量日志分析

日接入数据量 30000亿条，万亿数据全量秒查，日分析任务500w+ 超大规模集群，服务器规模2000+台，业务集群65个，单集群最大阶段534台。

基于TBDS的游戏应用分析与营销推荐 icon

业务特点

海量数据采集，每分钟2000万条记录文件采集，150万/秒的消息采集。10万级任务调度，整个大数据平台10+万的任务数，100+万的任务实例数。海量数据的生命周期管理，权限管理。

平台价值

提升游戏的精细化运营，提高转户收入，减少用户流失。通过数据分析及时找出漏洞，保护用户账号及资金安全。

产品概述-大数据统一存储、计算、分析平台 icon

腾讯云大数据平台套件TBDS（Tencent Big Data Suite）是基于开源体系，融入腾讯内部海量数据处理先进实践，面向数据全生命周期，提供一站式、满足政企级性能和容灾需要、全面支持信创、安全可信的大数据统一存储、计算、分析平台。为企业快速构建海量数据处理平台/数据中台解决方案提供完善的平台和工具支撑。通过对海量数据信息进行统一汇聚、实时和离线的分析和挖掘，帮助企业从海量数据中获取真正的价值，及时洞察和决策新的机会和风险。

产品定位-提供多类核心引擎赋能政企数据平台建设 icon

企业级大数据底座为全行业提供安全可靠的大数据存算分析能力。TBDS以组件丰富、性能优势、租户隔离、集群管控、灵活部署等特点作为大数据基础底座来满足内外部用户公私有场景的项目交付。

实时数据湖在TBDS-标准引擎之上，采用Oceanus、Iceberg、Alluxio、 SuperSQL组件构建实时数据湖方案。从数据入湖、数据存储、数据湖计算、数据探索分析等维度不断提升数据接入和计算的实时性、提升数据在湖内外流转的性能和稳定性。

MPP数仓基于自主研发的分布式分析型数据库构建的分析引擎，支持行式和列式存储来满足OLTP和OLAP场景。具备极速OLAP响应、超高性能计算、租户资源隔离等能力。可支持GB~PB不同规模的数仓构建、海量数据查询、多维分析等场景业务。

TBDS 大数据平台产品矩阵 icon

TBDS-企业级大数据底座：提供整套大数据方案能力与服务 icon

TBDS-实时数据湖：数据入湖、湖内管理、出湖全面提效 icon

TBDS-MPP数仓架构 icon

TBDS核心技术优势 icon

政府/企业级大数据云平台

基于腾讯多年业务实践的大数据平台，抽象三大核心引擎适用政企不同业务场景，海量数据处理、分析能力，多级多租户、快速部署、资源弹性伸缩。

极致性能与可扩展性

具有互联网基因的开源组件增强，自研数十种大数据存算组件，业界领先的高性能分析引擎，可视化的批流计算处理框架。

完善的全链路工具支持

内置可选择一站式数据开发治理平台，内置高性能mpp数据库与敏捷数仓构建工具，内含简单易用的机器学习平台。免适配，零开发，搭建丰富的大数据应用。

国产化安全可信

信创支持，完整的4A安全体系，多租户数据隔离安全，一体化的容灾备份。

增强运维

全局指标预警告警。服务健康度：强大的主动的问题发现能力。存算资源地图：全方位掌握资源使用情况。

开放融合

行业领域TOP级大数据合作伙伴，丰富的集成与被集成生态圈。

Wedata 实现覆盖全生命周期的一站式数据处理 icon

Wedata 多源数据集成 icon

多类型同步场景

【主要功能】：数据集成提供高效稳定的数据同步，支持离线和实时场景下在丰富的异构数据源之间高速稳定的数据移动及同步能力，涵盖数据读取、输出、转换三大核心能力。离线同步：实现数据主动抽取。实时同步：被动监控数据变更实时刷新动态同步。

多类型异构数据源

【主要功能】：数据集成支持关系型数据库（包括mysql、postgresql、 sqlserver、oracle等）、大数据存储（hive、hbase等）、文件系统（hdfs、ftp、sftp）、对象存储（cos、s3）、 NoSQL（redis）、搜索（ES）、消息系统（kafka）在内的31种数据源读写。基于DAG画布简化参数配置，支持读写随机组合。

丰富的数据处理及运维能力

【主要功能】数据集成提供同步前后库表数据过滤、追加/覆盖等数据写入模式、自定义数据字段、脏数据控制等丰富数据处理方式。同时，基于任务和实例级别支持单表实时、离线、整库迁移任务运维，支持任务及资源监控，覆盖短信、邮件等多渠道告警。

Wedata 敏捷开发运维 icon

协同开发空间

【主要功能】：开发模式：支持先开发后编排以及先编排后开发两种协作模式，开发和编排空间自动联动；支持多人协同开发、提供表管理、函数开发、资源管理和回收站等多类型开发资源管理使用。分析类型：支持JDBC数据源在线分析和结果查看，包括 Hive 、 DLC 、 CDW 、 Clickhouse 、 TDSQL 、 Mysql 、 Oracle、SQLServer、IBM DB2等20+种。快捷操作：支持将脚本一键转换为工作流任务、支持脚本按照目录结构导入和导出。统一元数据查看：支持系统源和外部源统一的数据源查看。

协同编排空间

【主要功能】：计算类型：支持 Spark SQL 、 Hive SQL 、 Spark 、 MapReduce、Shell、JDBC、Python、PySpark、CDW Postgresql、Impala、DLC等11种任务类型。任务编排：支持可视化、Excel批量以及自定义编排任务。任务调度：支持周期、一次性和事件触发调度，包括 crontab方式配置调度以及自定义依赖配置。任务测试：支持任务和工作流测试及版本管理。调度辅助：提供项目、工作流和任务三种粒度的参数配置，支持时间参数运算以及函数参数。版本管理：支持事件、函数、任务和参数的版本管理。

发布运维

【主要功能】任务发布：支持跨项目和跨环境的任务发布以及回滚，提供跨租户迁移的能力，发布对象包含任务、函数、事件和参数。任务运维：提供工作流、任务以及实例的运维操作，包括补数据、重跑、置成功等；支持工作流、任务和实例三种维度的列表和DAG可视化监控。任务监控：提供任务以及实例概览统计，包括任务类型、趋势统计和耗时排行统计和调度资源统计。监控告警：支持批量设置任务告警配置，提供失败和运行耗时告警，告警方式支持邮件、短信、微信、企业微信、电话和HTTP等6种告警方式。

Wedata 高效数据治理 icon

数据地图

【主要功能】：数据字典：支持企业下全域数据快速查找与定位。数据血缘：支持租户级别下表、字段级别数据血缘全局、分层展示，提供跨空间血缘链路追溯。数据温度：提供任务开发关联数据表使用温度统计。元数据：提供元数据异构数据元采集及统一管理。

数据质量

【主要功能】：基于40+系统规则模版，支持用户对数据进行离线质量监控检测任务的配置和运维管理。同时支持周期性的质量分析概览。

数据安全

【主要功能】打通ranger权限策略体系，实现责任到人，数据粒度到表的权限管控能力。提供权限申请和审批通道，安全开放数据访问控制能力。

DataModel 敏捷数仓建模 icon

数仓建模开发

【主要功能】：数仓规划设计：按项目进行数仓架构设计，定义数据分层、分类、主题域、业务过程，并进行业务打标和规范检查动作。逻辑模型设计：支持关系/维度建模，通过关系设计、维度指标绑定，实现逻辑模型规范定义，通过模型发布实现物化落地。

指标维度定义

【主要功能】：指标生产管理：进行基础指标、衍生指标业务定义、计算规则管理，通过指标发布实现自动生产和物化落地。维度生产管理：对维度进行分类定义管理（日期、业务限定、普通维度、退化维度），实现维表自动生成。

敏捷开发模板算子

【主要功能】：敏捷开发：可视化画布拖拽式开发，集成算子能力，包括筛选、计算、连接、聚合等数据处理能力；单环节快速数据查看和预览，方便调试和问题排查。自动调度：配置发布后无缝提交至调度平台，将任务实例纳入统一运维管理。模板算子：将基础算子和自定义函数为工具来进行通用业务逻辑片段或指标参数的模版化开发，通过处理单元的组合抽象形成一批标准的指标模板。

DataExplore 数据探索与挖掘 icon

交互式数据挖掘

【主要功能】：开发环境：提供交互式Jupyter Notebook为开发环境。主流算法/框架：支持业内主流计算框架，提供多种统计分析和机器学习算法包；支持从数据清洗、特征工程、模型训练、超参配置、评价指标的全流程开发的需求。工作流编排：一键式的从代码转换到工作流的编排能力，降低使用门槛。数据探索：可视化的数据探索工具，提供列统计、相差性分析、缺失值检测、数据预览等通用功能。

交互式编排与可视化输出

【主要功能】：输出可视化：节点运行结果以可视化方式进行展示，方便用户的代码调试。DAG展示：流水线以动态DAG图方式呈现，实时显示节点状态，并按节点统计日志、输出、结果可视化等，方便用户监控任务。任务调度：支持一次和周期性的任务调度策略，周期任务支持中止和重跑操作。

自定义分析看板

【主要功能】：分析看板：可插拔、自服务式的可视化看板，通过集成自定义分析卡片，支持定时更新和分发功能，高效支撑业务人员差异化指标分析场景；探索模型：按场景需求分类构建自定义探索分析模型，模型可组装形成通用分析卡片，基于统一服务能力对外输出。

核心差异化竞争力

腾讯内部海量大数据开发运维经验和自研引擎能力加持

实时流数据处理引擎

集开发、调试、部署及运维于一体的一站式可视化。实时实时大数据处理平台。3种应用搭建方式，满足不同层次的用户需求。丰富的上下游生态，无缝对接不同业务线。自助调试，快速验证应用的开发逻辑。多维度实时指标+多渠道告警，助力业务轻松运维。计算结果实时可视化。

统一融合计算中间件

满足跨DC、跨引擎的异构数据源统一关联分析。作为统一的融合SQL引擎，提供统一的异构数据管理和分析入口。优化集群资源使用，解决业务资源使用瓶颈。

高性能实时分析引擎

支持海量存储，单表能够存储超过万亿行、万列，实现真正的大宽表存储海量数据。针对百亿/千亿级数据，数秒~数十秒耗时，实现数据精确查询/模糊匹配。能够快速实现大宽表内千亿级数据量的复杂多维分析。能够对千亿级/万亿级数据量，快速实现全文检索、模糊。

TBDS技术特性-Oceanus-实时流数据处理工具 icon

Oceanus 是一个基于Flink框架，集开发、调试、部署及运维于一体的一站式可视化实时实时大数据处理平台。平台在提供应用管理、计算引擎和资源管理等能力的同时，通过日志、监控、告警等周边服务打通了实时业务的全生命周期。画布、SQL、JAR三种应用搭建方式，满足不同用户需要。算子粒度调优，自主调试，逻辑验证。深度集成TBDS，租户管理、资源细粒度管控。

TBDS技术特性-Supersql-融合计算工具 icon

应用场景

OLAP数据分析

通过SuperSQL对数据分析/挖掘、生成报表等。

数据即时查询

通过SuperSQL对数据采样、小数据交互式查询等。

数据联邦查询

通过SuperSQL联合分析不同数据源（例如Hive、HBase）中的数据。

割裂的数据版本

通过SuperSQL 查询不同集群中部署的不同数源版本中的数据。

跨数据中心/集群查询

通过 SuperSQL查询多个数据中心/集群中的数据。

TBDS技术特性-Hermes-多维实时检索分析平台 icon

项目验证：Hermes150台服务器规模，单机256GB内存、32核CPU、2T*12 SAS盘。每天数据采集增量超过200亿行，目前存量超过2.5万亿行、2PB数据存量。最大的大宽表有7000亿行数据，500个维度指标，约600TB数据量。在数百亿行数据中，进行实时查询和全文检索，耗时约4~10秒之间。在数千亿行数据中，进行实时查询和全文检索，耗时约8~60秒之间。

海量存储

万亿行PB级数据存储

行存储

单表存储超过万亿行

列属性

单表存储超过万列，最高可达到数十万列

实时检索

万亿数据检索与分析结果数秒内返回结果

多维分析

任意维度组合分析、实时下钻分析、外部数据关联

强扩展性

支持横向纵向任意扩展

时效性

检索与分析都在秒级、分钟级返回结果

易用性

支持http和jdbc接口，支持sql查询，简单易用

TBDS产品核心平台能力-平台开放 icon

腾讯多年海量数据处理经验之上，结合开源Hadoop生态和自研组件服务，对外提供的可靠、安全、易用的数据处理平台，为了便于用户和合作伙伴更灵活的使用产品和二次开发，已将内部核心能力以API方式开放，API已有200+个。

市场认可

三引擎使用场景对比分析 icon

企业级大数据底座-支撑某公安的智能数据应用建设 icon

实时数据湖-支撑某银行的数据中台建设 icon

MPP数仓-支撑某区级政务数据中台建设 icon

中华人民共和国人力资源和社会保障部 icon

亮点

以大数据为核心，在融合政府与社会数据基础上，提供个体授权性、用户画像、信息核验、状态比对、行为轨迹分析、服务偏好分析、风险分析、信用服务等数据服务。

实现

利用云计算和大数据技术，在人社部一级建设“全国社保卡线上认证与服务平台”,利用大数据存储、计算能力、分析和挖掘能力和用户交互和接口能力，为电子社保卡各个业务域（签发、就业、支付等）提供数据统计分析服务、商用业务查询服务、实时业务监控数据计算等服务。

痛点

数据汇聚:部里系统数据对外开放、共享能力有待提高。数据服务:政府数据和社会数据融合不够，无法实现个性化、多样性的数据服务。

解决方案

数据汇聚与共享:基于TBDS腾讯大数据平台，构建全国社保卡服务平台，打通多个业务系统接口，实现数据汇聚。基于TBDS腾讯大数据平台，在实现数据汇聚的基础上，建立政府大数据与社会大数据融合共享机制，对数据进行综合治理与分析，使群众可以通过社会服务渠道享受人力资源和社会保障服务、通过政府与社会数据融合享受创新服务，并提升政府的监管决策能力。

效果

实现与各级人社业务系统互联，与金融机构、第三方支付机构等建立总对总接口，完成数据汇聚工作，形成全国联动服务能力，统一实现社会机构互联网接入服务。在融合政府数据与社会数据的基础上，提供基于数据的服务类功能，包括提供个体授权性服务、用户画像、信息核验、状态比对、行为轨迹分析、服务偏好分析、风险分析、个性化服务、信用服务。

武汉市人民政府

简介：结合当前阶段信息化发展实际及城市未来发展需求,武汉市开展智慧城市基础平台建设，智慧城市基础平台是基于城市学的生命体、有机体理念，以系统科学为指引，利用云计算、大数据、物联网、人工智能、区块链、5G等新一代信息技术，为城市交通治理、公共安全、应急管理、政务服务、医疗卫生、旅游、环境保护、城市精细化管理等构建的智慧城市基础平台，推动建设并打通各类城市数字化管理平台，利用实时全量的城市数据，即时修正运行短板，优化城市公共资源，实现城市治理模式、服务模式和数字产业发展的高质量突破。智慧城市基础平台数据中枢是新时代智慧城市建设的前瞻性最佳实践，是未来城市不可或缺的新基础平台。数据中枢是智慧城市基础平台的重要支撑，建设智慧城市数据中枢有利于武汉市加快打造智慧化的多维感知、整合共享、分析决策、精细管理、精准调控等基础核心能力，是实现政府治理体系和治理能力现代化，助推武汉市经济社会高质量发展的重要手段。

亮点

1、打破传统共享交换模式，构建全市统一的大数据资源池。 2、构建社会数据、互联网数据与政务数据深度融合的应用模式。 3、绘制全市统一的城市运行基础底图。 4、完善数据开放能力，加快数据生产要素向相关产业赋能。 5、形成全面的数据资源管理体系，实现省市县三级联动。

实现

有效推进武汉市经济发展、社会民生、城市管理、安全应急、决策指挥等高效运行和应用创新，有效推进基于大数据的政府治理能力和城市管理能力的提升。

客户痛点

数据归集。全市政务基础数据汇聚在中金云，已归集31个委办局， 664项数据资源，共计24.69亿数据，初步形成6大基础库。但数据更新频率较慢、数据来源单一，归集的单位规模还有待提升。

解决方案

构建数据全流程一体化大数据中枢，实现从数据采集、处理、分析、服务到应用的全流程贯通，形成全市覆盖、技术领先、服务一流的大数据支撑体系，沉淀城市数据资产，统一的数据标准规范，深挖数据潜在价值，提供统一权威的数据支撑。

效果

推动全市基础数据资源归集，梳理市直部门及公共服务机构的“三清单一目录”。深入推进数据治理、提升政务数据质量，完成市、区共计 157个部门的数据的清洗处理。沉淀数据资产，完善数据资源体系，建设7大基础库，17大主题库。

某直辖市农商银行数据能力中心建设项目一期 icon

简介：XX农商2020-2022年发展战略规划将“坚定数字转型”确定为三个核心战略之一。加快数字化转型、提升数字化发展水平，既是战略推进的需求，也是服务上海市数字化转型战略任务、履行市属金融国企责任的体现。XX农商将通过数据能力中心建设项目加快金融科技数字化转型，推进数据、科技、业务紧密深入融合，同步实现数据开发和数据服务的统一管理，提升数字化对业务发展的支撑能力。数据能力中心建设项目不仅是信息系统建设项目，更是与数字化转型战略相匹配的管理项目。

案例亮点

本项目是TBDS在农村商业银行体系的第一单，是整合了云平台、大数据处理、数据治理、数据库等产品的综合性银行项目，整体规模大。

价值实现

XX农商数据能力中心的建设实现了数据开发与数据服务的集中统一管理，实现了全行数据开发、管控、运维、服务的一体化；同时构建了数据共享和开放服务体系，实现了对外提供数据与服务的统一化，提升了全行数据与服务管理水平。本项目荣获“2021金融业新技术应用创新突出贡献奖”。

客户痛点

数据服务:无法打通与访问全部数据，没有便利的数据服务接口,无客户统一视图及统一客户管理。数据处理:没有实时数据处理能力，数据处理滞后。数据治理:没有全行级的数据管理、数据质量低、数据不完整。

解决方案

统一数据服务：构建数据共享和开放服务体系，实现全行对外提供数据服务、数据查询、数据分析的统一化。统一数据开发：搭建流计算、离线计算、分布式数据存储的大数据平台，引入统一的分布式数据模型，并在此基础上构建用户指标体系、标签体系。统一数据运维：构建数据全生命周期的集中统一运维平台。统一标准落标：在建模阶段就引用数据标准，解决数据落标难的问题。

项目效果

引入服务平台和统一数据门户后，将现有散布各处的数据服务能力集中整合（量化指标待提供）。数据能力中心围绕风控、标签、分析、报表等维度，构建了更完善的 “全”、“便”、“享”、“快”的技术服务体系（量化指标待提供）。实现全行内外部数据规范化、体系化、平台化、服务化的集中管控目标，确保了数据来源唯一性，解决了业务取数难、取不准的问题。

XX证券公司大数据基础平台 icon

亮点

本项目是TBDS行业领域信创首例，同时在同一客户内实现信创与非信创不同环境的产品实施落地。

实现

实现大数据平台统一数据集成，统一数据开发，统一数据分析，统一运维管控。

痛点

统一数据集成：客户内部有多种数据源需要统一集成到大数据平台，同时需要覆盖离线和实时接入的场景。数据中心信创专区：客户构建全信创数据中心，从底层基础设施到操作系统及上层服务全链路信创。

解决方案

构建tbds大数据集成平台：对各种不同数据源进行配置、管理，以及元信息同步。通过离线任务及实时任务实现不同场景下的数据集成。构建tbds大数据信创版本：支持客户在信创专区的部署及使用，实现信创与非信创不同环境的产品落地。

效果

在统一的集成平台之上进行各种集成任务的管理，简化使用成本及运维管理复杂度。全面覆盖客户各场景下大数据平台的产品落地，北京生产及测试环境、上海灾备环境，信创专区生产及测试环境等。

南方电网大数据平台与数据湖建设项目 icon

企业简介：公司于2002年12月29日正式挂牌成立并开始运作，供电区域为广东、广西、云南、贵州和海南五省及港澳地区，负责投资、建设和经营管理南方区域电网，经营相关的输配电业务，参与投资、建设和经营相关的跨区域输变电和联网工程；从事电力购销业务，负责电力交易与调度；从事国内外投融资业务。

亮点

卡位能源电力行业，作为南方电网集团的数据底座，后续扩容规模大。对于他各网省规划大数据平台方案具备示范性标杆作用。

实现

构建统一数据湖，具备离线分析、实时分析的能力。服务于电网管理平台，客户服务平台，运营监控等重点业务。助力数字电网智能电网的建设。

痛点

各平台独立建设导致组件的重复封装和部署，资源管理和利用效率低下。架构陈旧，开源大数据平台运维能力不足，性能低，无法支撑微信账单、设备台账等业务。业务系统自行建设数据应用，难以实现公共数据积淀，无法形成企业统一管理视图。

解决方案

统一数据湖，包含大数据平台 +MPP数据仓库。TBDS基于腾讯内部业务场景优化后的大数据组件，提供性能优化参数。升入业务场景，协助设计新业务架构。各业务数据统一归集到数据湖底座，数据服务层作为数据中心对外提供服务能力的应用层。

效果

最高权限集中，实现统一集中管控。提升整体业务查询性能、稳定性。性能整体提升30%。加速数据、应用几大核心功能的融合，形成数据中心的整体组件化服务能力，降低数据中心技术使用门槛。

数字化社区