腾讯云数据开发治理平台WeData_大数据可视化协同开发系统

腾讯云数据开发治理平台WeData

WeData 是腾讯云推出的一站式数据开发治理平台，融合了包含数据集成InLong、数据开发DataStudio的全链路DataOps数据开发能力，以及数据地图、数据质量、数据安全等一系列数据治理和运营能力，帮助企业在数据构建和应用的过程中实现降本增效，数据价值最大化。

立即咨询

首页 > 产品中心 > 数据开发与治理 > 腾讯云数据开发治理平台WeData

传统数据开发工具在面临数据项目建设时的挑战 icon

管理挑战
涉及跨部门跨团队合作团队角色复杂，沟通成本高

技术挑战
开发和测试脱节，数据出错概率大数据任务多，依赖复杂，缺少有效变更控制

业务挑战
数仓建设周期过长，半年甚至一年起数据需求响应慢，两至三天的延迟

直面挑战，基于WeData构建大数据引擎中枢 icon

产品概述

产品架构

产品功能与特点

多源异构数据统一汇聚
数据集成提供高效稳定的数据同步，支持离线和实时场景下在丰富的异构数据源之间高速稳定的数据移动及同步能力。

敏捷数据开发
基于DataOps敏捷迭代、自动化流程和工具提升数据可靠性，加快数据生产和分析链路。

数据资产治理与运营体系
通过事前规划、事中异常阻断、事后质量和成本分析以及数据流通安全管控为数据的生产和消费提供有力的质量和安全保障。

高效率数仓建模和指标生产
统一数仓规范定义标准并拉通数据管理全流程，集成关系/维度建模标准设计方法并统一流程，集成多种指标维度标签分类定义与口径规则管理。

产品特点：多源异构数据统一汇聚 icon

产品特点：敏捷数据开发 icon

提供一站式敏捷数据开发、调试、持续集成和发布能力

产品特点：数据资产治理与运营体系 icon

【业务痛点】

开发：数据孤岛、重复建设、资源浪费、泄露风险。使用：数据不一致、数据不准确、延时产出。

【产品价值】

「质量」：全链路数据质量监控保障数据一致、准确、及时产出。「安全」：从生产到使用支持全周期数据安全保护。「成本」：周期性资源占用统计分析提供成本治理，解决资源浪费问题。「运营」：全局数据可视化管理避免重复建设；数据温度、血缘关系网，拒绝数据孤岛；从查找、理解、分析，应用到业务支持便捷的一体化运营服务。

产品特点：高效率数仓建模和指标生产 icon

产品价值

降低企业管理成本
数据开发需要跨团队和多角色协作，但传统数据工具架构较为割裂，较难协同，产品通过空间划分，为不同角色各司其职和有效协同提供了工具基础。

快速实现企业数据变现
产品通过一体化运营帮助用户快速发现和理解数据，通过 DataOps解决复杂的数据流水线开发，解放数据开发生产力，实现快速数据研发和交付。

提高企业数据质量可信
产品通过开发空间、测试空间、生产空间的流水线作业，解决数据“两层皮”的问题，将数据合规、标准化、质量监控和提升始终贯穿其中，确保数据质量。

满足业务自助式服务
数据分析师/业务人员能够更加关注业务逻辑本身，结合产品提供的自助的数据发现、探索、分析能力，满足不同角色更加流畅的数据使用需求。

数据规划

一站式数据开发的第一步，制定统一的数据规范，实现维度和指标模型设计和发布。

数仓规范：数仓规划基于全局进行业务对象的统一规划和规范定义，对模型进行分层设计管理，按照特定的业务主题进行分类分域管理，形成具有层级结构的业务标签。

模型设计：对逻辑模型进行定义和实体关系设计，包括定义、复制、修改、删除、导入导出、版本管理能力，同时建立与物理模型、指标维度关联映射，实现模型从设计态到开发态的自动同步。

标准管理：包含标准内容管理和对标任务管理，通过对标准规则的设计和任务配置，实现对数据值、库、表结构、表名、指标维度标签等层面的标准化。

指标/维度字典：对基础/衍生指标、维度条件（普通维度、业务限定、时间周期、退化维度）进行全生命周期定义管理，并建立和模型关联关系，实现指标生产代码自动生成。

数据集成

提供高效稳定的数据同步，支持离线和实时场景下在丰富的异构数据源之间高速稳定的数据移动及同步能力。

全场景同步

离线同步：实现数据主动抽取，实时同步：被动监控数据变更实时刷新动态同步，通过SDK 、Agent主动上报数据。

多类型异构数据源

支持30+数据源提供星型结构支持读写随机搭配，关系型数据库：mysql、postgresql、sqlserver、oracle、db2、达梦、hana、tdsql、tbase等，大数据存储：hive、hbase等，文件系统：hdfs、ftp、sftp，文件/对象存储：本地、ftp、ftp、cos、s3等，NoSQL：Redis，ES，消息系统：kafka等。

T转换

数据级：对同步流中数据进行内容转换，如数据过滤、Join等。字段级：提供单个字段转换处理，包括自定义数据字段、格式转换、时间格式转换等。

任务及数据监控

读写指标：支持任务读写实时指标统计，包括读写总量、速度、吞吐、以及脏数据等。监控告警：支持任务及资源监控，覆盖短信、邮件、HTTP等多渠道告警。

数据开发DataStudio-开发编排 icon

提供在线开发和可视化的配置界面，方便用户快速构建复杂的业务流程和调度依赖。

在线代码开发：支持代码开发，对任务工作流进行易用地拖拽式编排，同时支持大规模任务的可视化编排呈现。代码开发：支持对HiveSQL、SparkSQL、JDBC SQL、Spark、Shell、MapReduce、PySpark、Python、TBase、DLC SQL、DLC Spark、CDW PosgreSQL、Impala等任务进行在线代码开发、调试，以及版本管理。任务测试：支持任务和工作流测试及版本管理。开发辅助：提供项目、工作流和任务三种粒度的参数配置，支持时间参数运算以及函数参数。版本管理：支持事件、函数、任务和参数的版本管理。代码管理：提供代码统一的管理、导入和导出。编排调度：对任务进行流程编排及提交调度。调度方式：支持周期、一次性和事件触发调度，周期调度提供crontab方式配置。依赖策略：支持任务自依赖和工作流自依赖。跨周期依赖配置：提供跨周期依赖配置及自定义依赖配置，上下游依赖实例范围支持按需自定义选择。批量编排：提供excel批量创建任务及依赖的能力，加快任务依赖编排效率。

数据开发DataStudio-发布运维 icon

对开发完成的任务按需发布到生产环境，并对任务进行统一监控和运维。

任务发布：支持将开发成果发布上线

发布方式：支持全量、增量和自定义按需发布，提供跨租户迁移的能力，发布对象包含任务、函数、事件和参数。发布审批：任务发布上线支持流程审批。

监控运维：对任务进行流程编排及提交调度

任务运维：提供工作流、任务以及实例的运维操作，包括补数据、重跑、置成功等；支持工作流、任务和实例三种维度的列表和DAG可视化监控。任务监控：提供任务以及实例概览统计，包括任务类型、趋势统计和耗时排行统计和调度资源统计。监控告警：支持批量设置任务告警规则配置，提供失败、运行超时和成功告警，告警接收人支持指定人员、任务责任人和值班表，告警方式支持邮件、短信、微信、企业微信等7种告警方式。

数据开发DataStudio-分析探索 icon

智能易用的数据开发方式提升任务协同开发效率，帮助用户清晰查看任务处理过程，有效提升数据即席探索效能。

在线编辑：提供可视化的交互式分析IDE

区分个人区、项目区，方便个人调试和协作。支持标准SQL、Shell、Python等l四种开发模式，其中包括Hive、DLC、Greenplum、Clickhouse、TDSQL、Mysql、Oracle、SQLServer、IMB DB2等19种。支持代码提示及变量设置。

运行：提供执行信息可视化

支持单独执行和并行执行，支持运行日志和结果查看。

开发辅助：提供开发辅助效率工具

快捷操作：支持将分析脚本一键转换为工作流任务、支持脚本按照目录结构导入和导出。统一元数据查看：支持系统源和外部源统一的数据源查看。

数据服务

提供包含API生产、API管理和API市场等覆盖API全生命周期的能力，帮助企业统一管理对内对外的API服务，构建统一的数据服务总线。

快捷API生产支持API生产和注册，兼容存量API的统一注册和管理，支持向导和脚本模式创建API。提供包括API新建、开发、测试、发布以及版本管理。支持常见的数据源类型，Mysql、Oracle、PostgreSQL、Clickhouse等。

API管理和运营集中管理：支持对已发布的API进行集中管理。安全管控：可对API进行租户内可见性进行设置，并支持API按照用户和项目授权。监控和告警：支持对API进行监控和告警设置。

API安全调用提供租户全局的API市场，方便查看和理解API。支持按照项目和标签查看API，支持免密和APP认证两种方式调用。

数据运营

盖数据探查、热点分析、血缘分析、数据协同共享在内的数据资产管理服务，有效提升用户对企业级海量数据的管控协作能力。

数据发现：统一的元数据发现和管理

元数据类型：包括Hive、Mysql等系统和业务数据源元数据。采集方式：定时触发、手动触发和实时触发。归属方式：支持批量归属。

数据概览：提供数据资产的概览统计，包括表、数据量等信息，支持搜索

热门排行：包括表使用排行、表存储排行和项目存储排行。

数据全局统计：基于项目、标签和类型库表数统计

数据查询：支持企业下全域数据快速查找与定位

支持表名的全局模糊检索，提供以项目为维度的数据库表卡片式展示，通过数据目录，可以查看项目和归属标签下的数据表详情。

数据展示：不同视角的数据展示

数据血缘：支持租户级别下表、字段级别数据血缘全局、分层展示，提供跨空间血缘链路追溯。数据温度：提供任务开发关联数据表使用温度统计。

数据质量

通过灵活的规则配置、可视化的任务管理、多维度的质量评估、等功能，为数据接入、整合、加工到消费的全生命周期各阶段提供数据质量稽核能力。

多源数据接入能力：提供了多种数据源的接入的能力，实现了多个数据源的实时、准确的快速接入。数据源类型支持Hive、Mysql、CDW PosgreSQL。

规则配置灵活：通过通用规则模版及自定义规则能力，实现对通用规则参数的灵活配置，对自定义规则的即时定义工作。通用规则采用模版型设计，配置时可灵活定义规则参数，满足用户对数据的不同指标及内容的质量检测需求。自定义规则通过即时添加方式实现，用户可以在界面维护相关的SQL语句进行质量检测，灵活便捷。

告警与阻断：支持关联调度以及离线周期检测两种执行方式，提供事中和时事后的数据保障能力。

质量报告：提供全局的质量分析概览。

数据安全

提供集中化的数据安全管控和协作机制，保障数据在安全的条件下进行有效流通。

统一数据安全管控

针对绑定的存算引擎进行安全策略的深度集成，统一数据访问，简化数据使用流程。

权限审批

打通ranger权限策略体系，实现责任到人，数据粒度到表的权限管控能力。提供权限申请和审批通道，安全开放数据访问控制能力。

离线数仓/数据中台解决方案——WeData+EMR icon

基于WeData提供的数据集成和开发能力，汇聚来自业务侧的海量数据，然后借助EMR强大的PB级数据计算与存储能力，提供高性能企业级离线数仓方案，并可通过WeData对数仓进行统一安全管理和数据质量治理，提供统一的、规范化的数仓体系，为用户进一步挖掘数据价值提供支持。

全托管数据湖解决方案——DataInLong/WeData+DLC icon

在DLC提供的存算分离海量大数据分析架构之上，通过DataInLong的实时数据入湖和清洗能力，实现来自业务侧的多元异构数据的统一汇聚，构建低成本、高弹性、全托管数据湖方案，DataInLong可以平滑升级至WeData，为用户提供更进一步的数据加工、质量治理、探索分析能力。

实时数仓解决方案——DataInLong/Oceanus+CDW icon

在云数仓CDW-PG/CK提供的大规模并行处理和OLAP分析能力之上，由Oceanus进行实时数据处理，帮助用户快速汇聚和收集数据，构建轻量化、低成本、可弹性伸缩的实时数仓，并可配套UDP进行数据目录管理，当用户需要进一步的数据治理能力时，Oceanus可平滑升级至WeData，为用户提供更进一步的数据加工、质量治理、探索分析能力。

数据可视化解决方案——WeData+BI icon

基于WeData提供的数仓指标管理和数据服务能力，连通数据到业务的“最后一公里”，配合BI提供的自助报表搭建和可视化分析能力，为用户使用数据提供更加便捷、简易、直观的呈现方式，同时，借助WeData强大的数据资产治理能力，为数据的规范性、准确性、一致性提供保障，使数据辅助决策业务更加可靠。

技术架构—数据开发

提供一站式敏捷数据开发、调试、持续集成和发布能力。

DataOps的突破与创新 icon

协同
围绕数据价值链基于协作空间使数据团队不同的角色更好的协作，打破团队间孤岛，缩短从原始数据到数据价值的路径。

效率
基于DataOps敏捷迭代、自动化流程和工具提升数据可靠性，加快数据生产和分析链路效率。

质量
贯穿事前中后的数据质量控制，融入DataOps管道式开发流程，全面保障数据质量提升。

DataOps的突破与创新——协同 icon

DataOps理念

在大规模任务开发场景下，可以高并发的在线执行数据开发与测试：开发人员专注任务开发与单元测试，避免业务逻辑学习成本，编排人员专注任务编排与调度配置，专人专项缩短落地周期。在敏捷开发场景下，开发与编排的一体化以提高效率：在编排业务逻辑实现的过程中完成数据任务开发，可以同时测试数据逻辑与业务逻辑。

实现过程

先开发，后编排：工作流设计不阻塞开发工作，开发无需理解编排逻辑：开发空间完成后导入编排空间，有专人进行任务编排。适合中心团队大规模高并发的开发任务。先编排，后开发：开发人员理解业务逻辑，先设计工作流后开发：直接在编排空间进行任务编排与开发测试，更敏捷。适合局点团队小规模或增量任务的敏捷开发模式。

DataOps的突破与创新——效率 icon

DataOps理念

支持提交、对比、回溯等版本管理能力，以支持任务的灰度发布。支持任务、事件、参数、函数的增量发布，而非传统的周期性发布。敏捷开发、快速迭代，以整体上缩短数据资产化的周期。

实现过程

数据任务开发完后需进行版本提交，以反映在工作流中。不同版本任务可以快速在同一工作流中调试。不同项目相同工作流基于不同任务版本实现灰度发布。在发布管理中按照日期进行增量发布，快速迭代。

DataOps的突破与创新——质量 icon

DataOps理念

从事后的质量评分转为事中的质量监控，一体化测试由代码测试与数据测试两方面组成，以保证数据分析的高质量。从事后的标准对标转为事前的标准落标，以保证数据分析时的数据质量、统计口径的一致性。

实现过程

数据任务/工作流提交版本前要求通过在线调试，在线调试会自动拉起数据表对应的质量监控任务。敏捷数仓建模工具在数据建模时支持直接引用事前定义好的数据标准，在源头上做到落标。遵从数据标准的表在进行数据集成任务时，支持对脏数据设置零容忍阈值来做到贯标。

技术架构—数据资产

技术架构—数据质量

可视化配置

数据监控规则模板运维管理

丰富模板

53种官方模板自定义规则模板字段级表级

全维度规则

测试运行事中检测事后检测

质量报告

综合质量分维度质量分表质量分明细

成功案例：某商业银行客户数据能力中心建设 icon

客户痛点：数据的开发、调度工作分散情况严重，数据质量低、数据落标困难。大数据组件运维复杂，缺乏集中统一的有效运维中心。业务数据：核心账务，对公信贷，个人贷款，在线贷款，代发代扣，外汇资金，人民币资金，理财，基金，网银，信用卡，柜面，支付清算。

统一开发18000+个数据任务
统一对接MySQL/Oracle/DB2/文件等多种数据源，统一开发Hive/Spark/Shell/Python等多种任务，基于事件与时间的统一任务调度及运维。

统一落标1000个标准项
数据标准平台建标5000个标准项

通过数据开发建模平台事前落标1000个

统一管控19000张数据表
数据资产平台展示完整字段级数据血缘

统一数据权限的申请、授权、审批等管控

精确到人到表的行列权限与动态脱敏控制

成功案例：某药企客户数据中台建设 icon

客户痛点：数据孤岛严重，业务数据库类型众多，数据质量低、没有数据标准。大数据组件运维复杂，缺乏集中统一的有效运维中心。业务数据：会员CRM数据，网店后台数据，实体店销售数据，药品分销系统数据，眼视光系统数据，MES系统数据，WMS系统数据，质检应用系统数据，云七通系统数据，金蝶K3系统数据。

统一开发800+个数据任务
统一对接MySQL/Oracle/SQL SERVER/GP/文件等多种数据源，统一开发Hive/Shell/Python等多种任务，统一开发API接口数据抽取任务。

每日检测10000个质量实例
数据标准平台建标700个标准项

数据质量检测模块制定400+个检测规则

每天运行10000数据质量检测实例，检验30000列数据的质量是否符合标准

统一管控900张数据表
数据资产平台展示完整字段级数据血缘

统一数据权限的申请、授权、审批等管控

精确到人到表的列权限与动态脱敏控制

成功案例：某电商平台友商迁移升级案例 icon

客户概况：鲸灵集团，为2万品牌、300万KOC和1亿+消费者提供一体化SaaS解决方案，平台日销售额突破亿级，积累了数十亿条订单记录大数据，其业务规模和使用场景等多方面都对大数据平台性能和稳定性提出了极高要求。客户痛点：客户在友商数据平台上，无法通过快速迭代满足定制化业务。成功迁移至腾讯云WeData1.0后，部分功能缺失无法对标，急需升级。