达梦数据交换平台软件
达梦数据交换平台(DMETL)是武汉达梦数据库有限公司在十余年数据处理经验的基础上,研制的具有自主知识产权的、通用的、平台型的数据集成产品。DMETL采用分布式多执行器架构,支持hadoop、spark以及原生执行器三种数据数据处理模式,适用于各类数据整合、交换以及共享项目,目前已被广泛应用于公安、信用、电力、国土、住建、社保、政法、政务等多个行业的数据中心项目中,为项目建设和运营提供从数据采集、清洗加工、数据质量检测到快速装载的全面支持。
产品特点
01
全面的数据源支持

除了常见的关系数据库以及文件数据源以外,还提供了对于新型非关系数据源的全面支持如Hadoop、Hive、HBase、MongoDB、Kafka、Elastic Search等。

02
完善的增量数据捕获支持

提供多种增量数据捕获方式,用户可以根据应用场景灵活选择。

03
数据快速装载

支持各种数据源的快速并行装载,满足用户海量数据的快速入库需求。

04
可视化数据清洗转换

支内置了丰富的可视化数据转换规则,包含简繁体、汉字拼音、乱码处理、字符集转换、中文数字等,使得用户能够以所见即所得的方式完成数据清洗转换规则的配置,提升工作效率。

05
批量流程生成

支持基于模板的批量流程生成功能,快速生成大量数据处理流程,节省项目实施工作量。

06
负载均衡与故障恢复

自动分配任务到较为空闲的集群节点运行,故障节点的任务可以自动转移到非故障节点运行。

07
统一运维监控

统一监控系统中各个节点的运行状态,资源消耗,支持在线系统升级以及节点的远程启动、停止和配置。

08
hadoop和spark支持

支持将数据处理流程转换为Hadoop或者Spark作业,使得用户无需编写代码即可利用已有的大数据平台进行海量数据的计算和处理。

09
数据质量

支持在线数据质量检测,数据质量检查规则可重用,能够生成数据质量统计报表。

10
便捷的应用集成

提供丰富的restful api,第三方应用可以通过api创建、执行流程并获取监控信息。能够主动通知第三方应用相关的系统信息与告警。

11
高可扩展性

支持编写java和python脚本扩展系统数据处理功能。

应用场景

支持各种数据源,定时批量或接口调用交换数据,满足跨部门信息资源共享需求。
支持各种数据源,对数据进行复杂清洗比对、质量检查、数据脱敏,实现数据治理。

典型案例

南方电网OS2地级主站系统
中航信在线事务处理系统
国家能源集团项目
江苏监狱管理局项目

产品推荐 查看更多>>
    得帆云DeMDM主数据管理平台

    得帆云DeMDM主数据管理平台,提供多域、多组织、多层级主数据管理解决方案,满足复杂架构的集团级企业用户的主数据管理;同一平台实现个性主数据模型定义,以及独立的主数据管理流程,审批架构;提供跨组织人员、用户管理,统一构建审批流程。 在主数据平台中管理的不同主数据域之间的数据可以灵活引用;形成数据之间完整、复杂的关系视图。

    审批架构

    用户管理

    统一构建

    灵活引用

    中数智汇统一名单管理平台

    通过建立内外部黑/灰等风险名单数据接入、数据服务化、服务管理与运营分析于一体的平台,打破数据孤岛,助力业务部门更快捷、安全的整合内外部名单数据与应用服务,充分高效的挖掘数据价值。

    客户数据全局查询

    高效数据加工

    名单模板化设置

    接口服务应用管控

    腾讯云数据开发治理平台WeData

    WeData 是腾讯云推出的一站式数据开发治理平台,融合了包含数据集成InLong、数据开发DataStudio的全链路DataOps数据开发能力,以及数据地图、数据质量、数据安全等一系列数据治理和运营能力,帮助企业在数据构建和应用的过程中实现降本增效,数据价值最大化。

    一站式数据开发治理平台

    全链路DataOps数据开发能力

    帮助企业在数据构建和应用的过程中实现降本增效

    高效率数仓建模和指标生产