icon大数据发展面临的核心挑战icon
数据孤岛
数据不集中、重复存储、重复计算,数据分散无法连接
数据开发和运维成本高
自研数据平台难度大、成本高,扩展性、稳定性、数据质量难以满足业务快速增长
数据共享应用不易
数仓中的数据对接各类BI或应用不便,数据难以在不同部门和合作伙伴之间共享
大规模数据难以治理
随着数据规模的不断增大,数据治理越发难以进行,数据质量、监控、安全逐渐成为瓶颈
icon怎么定义大数据icon
大数据基础平台
Hadoop
Spark
MapReduce
集群管理
运维监控
大数据应用
智能推荐
经营分析
精准营销
可视化大屏
大数据支撑工具
数据集成ETL
数据开发
元数据管理
数据质量
数据资产管理
大数据服务
数据治理服务
数仓建模服务
数据开发服务
icon腾讯内部大数据能力的对外商业化输出-TBDSicon
icon大数据平台产品矩阵icon
icon私有化大数据平台 TBDSicon

私有化大数据平台TBDS是腾讯云提供的面向海量数据的存储、计算、分析统一平台,提供接入、存储、计算、服务、分析、管理等多个组件,支持用户本地部署、云上全托管和混合云多种部署模式,并提供满足政企客户在多租户、多集群、多引擎上的需要。

icon数据开发治理工具链 WeData(原DataStudio)icon

Wedata(一站式数据开发治理平台)遵循“DataOps”的原则,以DataPipeline为核心,贯穿数据集成、数据建模、数据开发、数据分析探索多个能力模块,为用户提供完善的一体化一站式数据开发工具,有效降低大数据开发的门槛,减少代码和系统维护工作量。

icon数据建模和探索 DataMoel & DataInsighticon

敏捷数仓建模:ü 在TBDS底层引擎和工具链完整的基础上,提升数仓建设效率,快速提供挖掘所需敏捷数仓工作。打造统一数据集管理能力,快速沉淀行业经验模板。数据洞察探索:向导式洞察分析平台,高效组织编排各个功能模块,数据分析师无须再关注工具衔接和平台搭建,只需专注模型的性能和效果本身。

icon数据接入平台 DataHubicon

TBDS Datahub支持搭建实时和离线数据链路,业务可以使用 DataHub 进行业务数据的统一接入及分发管理。同时,我们基于链路开放周边能力,集成公司内部优秀的数据组件,协同共建平台能力,提供一个低成本、高效、安全、可靠的数据链路服务。

icon大数据平台提供整套大数据方案能力与服务icon
icon大数据场景建设icon
数据汇聚与共享服务
主要面向政府和企业,存在业务系统数据分散、数据孤岛现象严重,或者需要与内外部进行数据共享或交换的场景
数仓集市与数据分析
主要面向政府和企业,在数据统一汇聚的基础上,希望深度挖掘数据价值,通过建设数仓,以数据可视化和数据应用的方式赋能业务
综合内容搜索分析
主要面向政府和企业,针对海量日志、海量文本数据,需要进行结构化处理并提供实时/在线搜索分析时的需要
数据中台建设
主要面向政府和企业,在数字化转型阶段,希望将数据以资产的方式进行运营,并满足提供统一、完整、准确、权威的数据服务,需要建设政府/企业级的数据中台场景
实时数据处理与分析
主要面向政府和企业,对于数据及时性要求较高,例如精准推荐、实时经营决策、风控等应用
icon数据汇聚与共享服务icon

数据汇聚与共享服务场景,主要面向政府和企业,存在业务系统数据分散、数据孤岛现象严重,或者需要与内外部进行数据共享或交换的场景,TBDS提供完整的产品解决方案,基于数据总线对数据进行统一汇聚和共享分发,可选DataStudio对数据进行处理和加工,在引擎层面,提供两种解决方案,满足客户在大数据阶段的不同需要,拥有极高的性价比。

icon数据仓库与数据分析场景icon

数仓集市与数据分析场景,主要面向政府和企业,在数据统一汇聚的基础上,希望深度挖掘数据价值,通过建设数仓,以数据可视化和数据应用的方式赋能业务,TBDS提供数据集成和开发处理,完成数仓分层建模,搭配海量数据查询引擎,提升海量数据查询性能,满足实时/在线数据分析的需要。

icon综合内容搜索分析场景icon

综合内容搜索分析场景,主要面向政府企业,针对海量日志、海量文本数据,需要进行结构化处理并提供实时/在线搜索分析时的需要,TBDS提供完善的数据集成和开发处理平台,结合TBDS-ES提供的搜索分析引擎,完成海量日志或文本数据的查询分析,支持搜索服务、日志分析、安全监控等多种应用场景。

icon数据中台建设场景icon

数据中台建设场景,主要面向政府企业,在数字化转型阶段,希望将数据以资产的方式进行运营,并满足提供统一、完整、准确、权威的数据服务,需要建设政府/企业级的数据中台场景 ,TBDS提供完整的产品解决方案 ,通过完整的工具链产品,为数据治理应用提供统一的数据中台基础底座,用户可以基于TBDS,搭配适合自身行业特性的数据标准、数据质量、数据资产、数据服务等产品工具,完成数据中台的建设。

icon大数据平台核心能力icon
持续进化可控的企业级大数据云平台
基于腾讯业务实践打造的数据平台
拥抱开源,优于开源
自主可控
极致性能与可扩展性
具有互联网基因的开源组件增强
可视化流计算框架
业界领先的高性能多维分析引擎
完善的全链路工具支持
更具客户导向的一站式数据开发能力
丰富的大数据应用
简单易用的机器学习平台
信创支持安全可信
信创支持
完整的4A安全体系
多租户数据隔离安全
一体化的容灾备份
增强运维
多组件统一监控
自定义预警
降低运维成本
生态全面开放融合
行业领域TOP级大数据合作伙伴
丰富的场景化应用服务能力
集成与被集成生态圈
icon产品差异化竞争力 腾讯内部海量大数据开发运维经验和自研引擎能力加持icon
全链路数据开发方法

通过工具来落地高效协作的、严谨的、可重用的数据开发机制。自动化数据开发测试流程,在快速开发迭代的同时保障数据质量。让数据使用安全合规,建立严格的数据权限管控。匹配不同角色相应的数据能力和资源,如数据工程师和数据分析师的分工合作。

统一融合计算中间件

满足跨DC、跨引擎的异构数据源统一关联分析。作为统一的融合SQL引擎,提供统一的异构数据管理和分析入口。优化集群资源使用,解决业务资源使用瓶颈。

高性能实时分析引擎

支持海量存储,单表能够存储超过万亿行、万列,实现真正的大宽表存储海量数据。针对百亿/千亿级数据,数秒~数十秒耗时,实现数据精确查询/模糊匹配。能够快速实现大宽表内千亿级数据量的复杂多维分析。能够对千亿级/万亿级数据量,快速实现全文检索、模糊检索。

icon信创支持icon

全面支持信创国产化生态,涵盖国产化芯片、操作系统、服务器领域,成功适配鲲鹏、海光、飞腾、申威、兆芯、麒麟、中科红旗、UOS等。

icon生态融合icon

优化的开源组件+自研组件及工具+腾讯联合产品+各种伙伴产品

icon竞品分析icon
icon客户选择腾讯大数据平台的原因icon
1. 可靠的腾讯品牌与大厂影响力
2. 先进性技术经由现网实际数据业务验证,持续赋能输出
3. 部署灵活、不绑定平台、不苛求硬件,起步规模小,扩展便捷
4. 平台开放、迁移便捷、不怕绑定、专业支持
5. 成熟的平台管理及运维能力
6. 数据工具基于政企组织私有化项目专门打磨,有最佳实践和实战意义
7. 起步是不依赖于云底座的云平台,可与腾讯云集成,也可按需实现云原生特性
8. 成熟度有待提高且有定制化的可能,具备与客户一同成长的潜力
icon市场认可icon
icon宝安数据中台建设目标icon

总体目标:运用互联网+、云计算、大数据、物联网、AI等新一代信息技术进行智慧城市顶层设计,遵循集约建设,信息共享原则,建设和完善宝安区电子政务公共平台。

2020年1月底
初步完成人口库、法人库、房屋库、证照库、信用库5大基础库建设;企业服务库、办事过程库、网格管理库、权责清单库、学位资源库、个人空间库、企业库、用户管理库、行政监管库9个主题库。
2021年6月底
完成五大基础库和9大主题库数据资产迁移到升级后平台中,增强对海量数据处理与分析能力,实现数据资产互联互通,循环共享,深度挖掘和智能应用。
2021年底
完成数智中台建设,强化数据资产的整合和共享,形成智能化数据底座,提升政府对关键决策和公众服务的准确性与时效性,提高城市精细化治理水平。
icon宝安数据中台逻辑架构icon

依托TBDS作为宝安数据中台的基础底座,发挥大数据驱动效应,强化大数据处理支撑能力,推动以数据为核心的业务协同,支撑智慧宝安的创新应用。

icon基于TBDS数据中台的疫情主题数据应用案例icon
icon宝安数据中台建设成果icon
数据接入
接⼊49个委办局业务系统数据(市级部⻔11个,区级部⻔38个)
建成的5个基础库、9个主题库
共享平台接⼊19个委办局源系统数据
数据服务
提供多类数据(如数据核查,电⼦证照数据、政经济数据、⼈⼝数据、企业数据、商事主体数据、房屋数据)共计300项数据服务。
支撑应用
⽀撑智慧宝安块数据应⽤⼤屏系统、慧宝安综合中控系统、宝安区⽹格化智慧管理平台、宝安智慧政务服务平台、商事主体⼀体化数据共享服务系统、深i您、宝i企、宝安通等主要应⽤。
icon某市政务大数据平台icon
大数据平台基础能力搭建。
项目通过大数据开发套件工具的建设,构建开放式的大数据平台,并能够面向全市提供平台能力。作为本市规划数据中枢的重要组成部分。
平台工具一体化、目录一体化。
重点解决平台中工具的集成,实现面向用户的全流程工具能力提供,同时初步实现数据湖(本期信用库)目录的梳理,并与交换平台目录对接。
通过信用库的构建验证平台能力。
基于信用库的试点,验证大数据湖建设方法论,并对平台的完整能力进行验证,以及输出优化、改进建议。
探索大数据平台构建的“本市模式”,形成可延续的数据管理体系。
通过本期的建设,逐步梳理出未来大数据平台建设的演进路径,并逐步形成完整、可延续的数据管理体系。
icon某市政务大数据平台架构icon
产品推荐 查看更多>>
    科杰科技企业级数据底座解决方案

    科杰科技企业级数据底座解决方案整体采用了湖仓一体化的先进架构,优化数据管理能力,充分融合数据湖和数据仓库各自优势,实现一套数据、一套任务在湖和仓之上无缝调度和管理。 以湖仓一体、批流一体、存算分离、多模融合等技术创新,实现PB级多模数据存储与处理。

    数据标签管理

    数据指标管理

    数据质量管理

    数据标准管理

    腾讯云云渲染PaaS虚拟直播解决方案

    腾讯云云渲染PaaS虚拟直播解决方案,超低延时音视频 + 丰富边缘计算 + vGPU实时渲染,适配应用超过800款,游戏应用500+款,行业应用200+款,每月实现千万分钟级云渲染服务,覆盖建筑、文旅、医疗、媒体等各行各业。

    超低延时音视频

    适配应用超过800款

    实现千万分钟级云渲染服务

    vGPU实时渲染

    腾讯云容器服务 TKE

    稳定、安全、高效、灵活扩展、简单易用的 Kubernetes 容器管理平台

    支持多种开源应用一键部署到容器集群中

    实现镜像极速下载和上传,海量容器秒级启动,提高容器部署效率

    实现高可用服务和数据的安全