立即咨询

电话咨询

微信咨询

立即试用
商务合作

亿信华辰EsDataFactory数据工厂系统

亿信华辰 EsDataFactory 数据工厂系统,一站式完成数据采集、建模、清洗处理、集成交换与共享服务。内置数据安全脱敏能力,打通全流程数据开发环节,消除数据处理断点,高效对接多源异构数据源,简化数据运维工作,帮助企业快速搭建稳定高效的数据治理体系。
立即咨询
icon数据工厂核心定位icon

数据工厂是覆盖数据建模、采集、处理、集成、共享、交换、安全脱敏于一体,可以一站式解决数据开发所有的问题。

 

icon应用场景icon
 
 
1、大规模异构数据的迁移。
2、基于工业物联网的行为数据(日志、传感器等)的采集、交换、处理
3、主、备库之间的数据实时同步
4、全方位监控企业的数据链路
5、要求隐藏细节敏感数据的多方数据交换
icon产品价值icon
1、夯实基础
为治理和分析应用提供数据基础
· 架构开放、灵活、可扩展
· 兼容性强、支持信创环境
· 内、外部多源数据关联整合。
2、加速创新
打破数据墙加速数据创新
· 多引擎协同处理
· 数据互联互通,消除信息孤岛。
3、降低门槛
无代码自动化ETL降低大数据技术门槛
· 低代码开发平台
· 拖拉拽式开发
· 可视化开发组件
· 自动化调度任务。

 

icon新一代数据工厂icon

 

 

icon产品优势icon
批流一体
· 同时支持实时/批处理多种应用场景
· 满足用户对数据的不同时效需求
· 一份数据可同时应用于各类分析场景。
敏捷开发
· 提供可视化数据开发平台
· 丰富的输入、输出、加工、清洗、转换等开发组件
· 自动化作业调度和运维监控
· 支持多人在线协同开发,快速实现核心业务需求
· 易于扩展、定制修改、升级和移植。
快速集成
· 基于“批&流”双计算引擎的数据交换,从传统数据迁移到工业物联设备、日志、事件流实时捕获
· 数据链路统一管理
· 支持接入多源异构数据。

 

icon产品特性icon
场景覆盖全面
· 异构数据源整合
· 多种数据交换方式
· 多种数据抽取执行策略
· 覆盖数据加密、脱敏、清洗各类场景
· 具有丰富二次开发接口,平滑升级服务。
实时数据处理
支持结构化数据、日志数据、工业物联网数据、第三方交易平台数据的实时传输和处理。
资源均衡
支持集群部署
提供业务负载均衡功能
调度作业灵活配置。
隔离机制
设计区和运行区进行物理隔离。
可视化数据集成
可视化ETL过程和过程流设计
可视化建模
可视化调试,支持模拟运行、断点调试、日志跟踪。
多方位运行监控
数据链路统一管理
支持对系统和数据的操作行为审计
独立的异常监控和预警机制。
icon八大应用功能 - 一站式解决数据开发所有问题icon

 

 

icon功能特点icon

 

 

icon数据建模icon
可视化建模
向导方式完成数据模型快速创建,图形化展示各数据主题下的逻辑模型和物理模型。
支持自动化建模
根据数据加工逻辑,自动化生成关联、聚合、处理后的数据模型。
方式丰富
手工自定义,拾取库表、结构化文件,数据库反向工程等多种方式创建数据模型。
属性扩展
统一的界面,物理属性、业务属性共同管理,可自定义扩充,完善模型的元信息。

 

icon数据建模--系统示例icon

 

icon数据采集icon

 

 

icon数据采集--系统示例icon

 

 

icon数据处理icon

 

 

icon数据处理 -- 系统示例icon

 

 

icon大数据批处理icon

用户需要对海量数据 (千万级、亿级) 有入湖或者入仓需求,要求数据迁移或者数据处理能快速完成。
主要是针对单个任务数据量大,并发少的项目。

 

 

icon数据交换icon

 

 

icon数据交换 -- 系统示例icon

 

 

icon海量数据交换icon

用户接入百万、干万级甚至亿级的数据,对数据进行交换,要求在规定的时间内完成。例如:单个批处理任务百万级数据、干万级数据能在规定时间窗口内跑完,夜间跑批完3~5亿级数据。

 
Spark引擎可控
规则类型支持率100%
全量/抽样任意选

 

icon实时处理icon
多种源数据实时接入
支持库表、文件、MYSQL日志增量、Kafka消费者、实时SQL作为输入源头。
可扩展的实时脚本/接口
支持实时数据传输过程中的python脚本及Groowy脚本处理;支持实时JSON解析
可扩展的实时脚本/接口
支持表达式处理、实时聚合、实时过滤、实时清洗。完成实时数据传输过程中的转换需求。
丰富的数据实时输出
支持控制台输出、Kafka生成者、表输出及文件输出。

 

icon实时处理icon
多种数据源实时接入
支持库表、文件、MYSQL日志增量、Kafka消费者、实时SQL作为输入源头。
可扩展的实时脚本/接口
支持实时数据传输过程中的python脚本及Groowy脚本处理;支持实时JSON解析。
便捷的实时数据同步
支持实时CDC日志增量组件、实时CDC日志批量组件。
面向实时数仓的集成
支持表达式处理、实时聚合、实时过滤、实时清洗。完成实时数据传输过程中的转换需求。
丰富的数据实时输出
支持控制台输出、Kafka生成者、表输出及文件输出。
icon实时处理icon

 

 

icon低延时配置式的实时同步icon
 

 

icon实时处理--系统示例icon

 

 

icon安全脱敏 - 数据“打码” 保护隐私icon
支持传输加密
· 采用密码算法和校验码技术保证数据传输过程中完整性和机密性
· 对外发的数据进行敏感性识别,以便及时发现、拦截禁止开放的数据流出。
支持存储加密
· 支持对数据透明加解密;
· 实现密文存储和密文访问控制;
· 支持国密加密算法加密。

 

icon安全脱敏 - 系统示例icon

 

 

icon数据共享icon
文件共享接口
提供FTP、MQ等方式的文件共享。
开发资源共享
提供调度、任务资源的共享接口,第三方应用可继承并管理已有的开发成果。
数据库共享接口
 JDBC/ODBC为第三方应用连接平台提供了便利性。
基于网络协议共享接口
提供http、webservice、rest等接口,屏蔽系统之间的差异,简化开发流程。
灵活可扩展性高
易于扩展、定制修改、升级和移植。

 

icon任务可编排的分布式调度icon

提供分布式的任务调度平台,一体化编排平台内的数据采集、处理、交换和数据管理任务,确保任务稳定、高效运转。

可视化任务编排
通过托拉拽的方式快速创建调度任务,并支持任务嵌套。
轻松管理复杂调度
通过任务优先级,合理配置大量数据处理任务的有序运转
便捷的人工干预
支持任务断点和续传,依据依赖链重做任务,提升数据运维效率
任务分布式执行
高并发、高吞吐量、低延迟和稳定地执行百万个量级任务

 

icon多种调度执行机制icon
 

 

icon任务支持多依赖icon

场景简介:
一个作业需要有多个依赖,每个作业又相对独立
解决方案:
· 通过任务属性页面快速定义依赖关系

· 支持一个任务依赖多个任务(当一个任务被“依赖引用"多次时,仅执行一次,减轻用户定义的负担)

· 支持依赖关系图形化展示,任务血缘分析。

 

icon调度、任务支持优先级icon
 
场景概述:
在项目同时触发调度比较多时(上百个),需要优先级高的调度先执行,优先级低的调度后执行。

解决方案:
支持在任务属性和调度属性上配置优先级。
同时触发的调度,先执行优先级高的调度。同优先级的调度,优先执行优先级高的任务。
icon丰富的执行报错处理机制icon
 
场景简介:
某个etl任务跑失败了或者某个表数据变更,需要重新跑某个任务,及下游任务
如因短暂的网络异常等环境原因导致跑批失败,能自动重跑
不重要的任务,出错忽略。

解决方案:
支持对任务进行重做,会重做当前任务和所有下游任务;
支持任务配置重试和调度配置重试
在不重要的任务组件后面接忽略异常组件。

 

icon分布式多节点执行icon
 
场景简介:
在集群和微服务部署情况下,一个调度里的并行执行任务过多,需要提升调度执行性能。
 
解决方案:
将调度执行拆分成任务执行,支持任务分布式多节点执行
单体集群下:支持任务在不同节点执行
微服务下:支持部署多个调度平台服务,任务在不同调度平台服务执行。

 

icon调度任务补发icon
场景概述:
当服务器维护期间,需要在此期间执行的调度被忽略掉,需要等待启动好后的下次执行时间。

解决方案:
·调度支持补发策略调度周期设置为每到整点执行,4:50~6:10服务器重启
忽略:忽略服务器重启期间错过的两次执行
补发一次:错过的两次执行,只补发最近的一次,立即执行
补发所有:错过的两次执行,全部补发,立即执行

 

icon作业调度--系统示例icon

 

icon多方位监控icon
 
· 调度预警、运行监控
· 系统日志、执行日志、实时日志
· 软硬件信息
· 数据连通性检测
· 变更检测
icon多方位监控 -- 系统示例icon

 

 

icon农业发展银行数据交换平台icon

项目概述
随着行内业务的高速发展,行内旧有数据交换平台已经不能满足总行各业务系统、各省级分行以及数据仓库等系统之间的高效数据传输交换需求。针对以上的迫切需求,通过睿通数据交换平台进行统一抽取,通过数据转义、码值转换等实现数据标准化,并将处理后的数据以文件或库表等形式下发给消费系统。

建设成功

集中各数据源系统的数据,建立统一的数据模型,将相关联的数据进行整合处理,为报表平台、反洗钱系统、通用台账管理系统、数据统计集中系统、增值税管理系统等提供数据支撑。

 

 

icon禅城区政务服务数据管理平台icon

项目概述
2014年3月,禅城区启动"一门式”改革,吹响了政务大数据改革的号角;2016年7月,禅城区数据统筹局正式挂牌成立,在佛山市禅城区大数据发展决策委员会的指导下,构建“一局、一中心、一公司”的组织体系,推进数统统筹发展的共享、共建、共用,实现“用数据决策、用数据监管、用数据创业”的数据统筹发展运行机制。禅城区大数据统筹局于2018年开展数据治理系统建设工作,基于人口库、卫计、工商、流管数据,建立区大数据统筹局一库三部门的统一技术和业务标准,通过构建模型、配置规则、人工智能识别等方法进行数据核查、数据清洗、数据更新及数据修复;开发区域数据交换平台,完成三大部门数据的采集、传输,以及一库三部门的交换共享,提供衔接顺畅的数据申请、交换服务,并对交换日志数据进行监控分析。
项目价值
以治理自然人库数据为主,重点汇集治理卫计、工商、流管三个部门的数据,为部门及数据应用提供高质量数据支撑。支持自助填表系统、教育无纸化两大应用,通过数据比对功能,返回比对结果,提供错误修改建议,提高填报成功率。

 

icon四川运管局综合管理与服务信息平台icon

项目概述
围绕运管局相关业务,建设一个交换中心,统筹规划厅运管局内部数据的交换共享、厅运管局与部省运政跨省协同业务数据交换共享以及同公安交通违章事故数据、卡口数据、安监事故数据等外部门交换数据。

 

产品推荐

山石网科A系列防火墙iNGFW边界安全防护方案
站在 SEO 优化从业者的角度,山石网科 A 系列 iNGFW 智能下一代防火墙,是面向数据中心与企业边界的高性能安全防护方案。采用通用架构处理器与硬件 SSL 解密引擎,解密性能显著提升。依托 AI 与云端赋能,具备 4I 智能防护能力,联动云瞻威胁情报中心,覆盖攻击前、中、后全生命周期防御。适用于互联网出口、内网隔离、数据中心等场景,提供高效边界安全防护与高级威胁抵御能力。
免费试用
查看详情
派可数据央国企数据经营管理分析平台
派可数据央国企数据经营管理分析平台,聚焦业务数据分析建模与央国企财务数据分析。融合业财数据打通、指标体系搭建及智能预测模型,支持财务风控、预算管理等场景化分析,适配能源、基建等央国企行业。以数据驱动经营决策,是央国企数字化管理优选平台。
免费试用
查看详情
百度云手机
百度云手机基于自主知识产权的磐玉蜂巢服务器和容器虚拟化软件,通过在云端虚拟的原生安卓系统实例,为政企客户提供高性价比 、高能效比 、安全稳定的IaaS+PaaS服务 。同时,联合各行业内知名SaaS合作伙伴,共建安卓云服务生态,为客户提供多垂类场景下的一站式解决方案,支持公有云、私有云部署方式 。
免费试用
查看详情
北京新龙立GZPL-760系列高速压片机
GZPL-760系列高速压片机是北京新龙立科技有限公司自主研发、制造的新型高速压片机。该项科技创新成果运用先进的设计理念,融入多项自有知识产权,选用领先的控制技术,其创新性和技术水平居于国内领先地位,主要性能指标达到国际同类产品的先进水平。符合GMP及FDA要求。
免费试用
查看详情