美创科技 ETL数据支撑平台

美创数据支撑平台中数据抽取转换工具采用增量采集技术，增量采集系统对生产库的日志文件进行增量监控，有变化就把增量数据采集并送到ETL工具端，经过ETL一系列转换和清洗后，最终数据以目标端的组织形式入库。

平台中数据抽取转换工具支持丰富的输入源，使得用户可以方便高效的从各种来源抽取想要的数据。

平台中数据抽取转换工具支持丰富的输出格式，能够满足用户不同的数据存储需求。

针对不一致的数据按规则进行转换、数据粒度的转换，以及一些商务规则的计算。

数据支撑平台是专业的数据质量分析，比较，验证和监督的软件，它会对各系统的企业信息进行数据分布验证（如代码、名称的分布情况），基于验证结果，提取关键信息进行比较，转换并提炼唯一的标准企业名称，并保证之后新抓取的数据都会根据已经设定的数据质量治理流程进行标准化处理。

美创ETL将地址数据标准化步骤如下： 1）将地址的信息分层 2）以地址字典为基础补全地址信息 3）门牌号等数字统一为阿拉伯数字，门牌号等单位统一 4）去除空格、括号、中括号的特殊符号；全角转半角等

美创数据支撑平台中数据抽取转换工具的作业调度非常灵活，主要支持按时间调度、按外部条件调度，且可以执行外部作业。

美创数据支撑平台提供完善的平台性能与作业执行情况的统计与监控。平台性能包括CPU、内存、磁盘的实时资源使用情况以及历史的趋势统计，作业统计与监控包括目前正在执行的作业情况以及历史作业的统计与分析。

支持远程管理和监控ETL过程，可以看到实时的系统状态以及转换执行过程。

美创数据支撑平台中数据抽取转换工具支持2种元数据管理: 1） 基于XML文件的元数据管理 2） 基于数据库的元数据管理 两种管理方式都能保证用户的元数据的一致。

支持在远程的服务器上部署和发布ETL服务，并对整个ETL流程能进行监控，方便用户管理和控制整个ETL流程。

支持用户方便的编写自己的JAVA代码、JAVASCRIPT脚本、sql脚本来扩展功能，这对于一些特定的数据抽取，或者业务处理是非常有用的。

基于Java提供多平台支持（windows、linux、unix等）

提供HBase的输入/输出转换组件，支持与非关系型数据库HBase进行数据交互

基于标准的JDBC、ODBC接口，实现对各种主流数据库系统的支持

美创ETL内置大量的任务组件和转换组件，用户可以通过拖拽的方式快速完成各种复杂数据集成需求和集成的调度控制

资源库为美创ETL的元数据提供了统一的存储机制，并对元数据提供各种管理功能，同时资源库还为美创ETL的分布式部署提供支撑

美创ETL内置众多的字符串函数，例如SUBSTR、Instr等，可以完成字段的拆分、合并等操作。且内置的Expression组件，可增加复杂的多字段混合计算，同时内嵌100多种函数和参数，极大的提高了表达式的灵活性

美创ETL内置大量的可视化图形转换组件，是完全图形化的开发产品，无需在组件上编写脚本语言，即可实现数据集成的快速开发和部署

美创ETL采用并行处理的方式实现数据的高效处理，数据在美创ETL中类似于流水线上的产品

与传统的数据同步技术不同，美创ETL基于数据库日志文件（包括归档日志和重做日志）来实时抽取数据，延迟最低5秒

任务流程提供多个调度机制和异常恢复机制，在异常后，支持自动和手动恢复

提供按批次抽取功能，并为每一批次数据提供整体事务的控制，一旦出现异常，可以从数据处理的中间状态进行恢复，并保证数据的最终完整性和一致性

基于数据库日志分析的各种数据抽取模式，如全量同步、增量同步CDC、单向同步、双向同步、文件目录同步等

提供插件式的组件管理机制，对于特殊的场景（如客户自定义结构的文本）可以方便的

美创ETL系统内的数据集成引擎可以集群方式部署在多个服务器或者虚拟机上，统一使用一个监控配置器，监控配置器可以监控整个数据集成集群内各个引擎上所有数据集成服务的运行情况