数猎科技 Data Formula 数据中台_数字化运营-云巴巴

Data Formula数据中台

数猎科技 Data Formula 数据中台的核心目标是为企业前台业务部门提供决策快速响应、精细化运营及应用支撑等要求，使企业真正做到自身能力与用户需求的持续对接。

产品简介

Data Formula是由DataHunter（北京数猎天下科技有限公司）自主研发的一款企业级数据中台软件产品。其基于并行计算技术架构，具备操作简单、部署灵活、快速响应等特点。Data Formula可广泛应用于各行各业，从百亿级数据量的企业到各垂直中小企业，专注为企业提供数字化运营基础平台，解决各行业的业务数据分析需求。

Data Formula可以帮助企业搭建功能完整的数据中台，提供了从数据汇聚、数据处理、模型管理，任务调度，算法管理，数据服务于一体的完整解决方案。DataFormula致力于帮助企业快速搭建数据基础平台，及时通过数据发现问题进而改进业务。

核心价值

数据资产管理，掌控企业数据脉络

企业数据资产，包括了数据模型，数据目录，数据集，以及针对这些数据资产的转换处理能力，包括数据算法、AI算法等。

DataFormula摒除了传统数据管理模式中，复杂，难以理解的数据管理方法，改用业务视角的数据管理模式，从数据模型的增删改查，到数据集的转化处理方法的管理，都让数据管理的复杂度进一步降低。可以使得数据管理人员，甚至业务人员能更好的理解数据。

DataFormula还重新设计了数据质量模块，让业务从数据转换的角度去查看数据质量，更好的体现了数据为业务服务的思想。除此之外，数据血缘关系也得到了重新的设计和梳理，更方便的查看数据的处理演变过程，为数据业务化提供了进一步的支持。

消除数据孤岛，整合业务数据

众所周知，我国的企业信息化发展相对落后，企业早期缺乏长远的IT建设规划，发展至今，各个业务系统仍相对独立，导致数据孤岛长期存在。随着大数据时代的到来，数据来源变得多样化，数据结构也更加复杂化，这使得企业在数据采集、ETL等方面会耗费很大精力。业务数据的过度分散，让企业很难从全局角度去分析业务的发展情况。

针对企业数据孤岛问题，DataFormula提供了完善的解决方案。基于自主研发的数据连接器框架，DataFormula可以对接企业内各个业务系统，包括ERP、CRM、财务系统、日志系统等，帮助企业整合所有业务数据，还可以对接数据文件、API，NoSQL数据库等。此外，DataFormula基于并行计算架构的存储体系，支持海量业务数据的处理，确保数据需求响应速度可以达到秒级。

数据服务API化，提升服务效率

数据中台另一项重大的改进就是数据服务化，通过自定义的数据服务API，数据中台可以快速的响应前端业务需求变化。

不同于以往的数据仓库产品，DataFormula无须通过数据库的账号和密码进行数据共享。数仓时代的账号密码方式，有诸多弊端，一个是数据安全性无法保证，另一个数据服务性能无法保证。

在新的DataFormula自定义API的服务模式下，操作人员可以通过界面配置，直接使用RestfulAPI的模式暴露数据，提供给前端应用，可以增加数据权限校验，也可以通过缓存，增加API的数据服务性能，更好的为前端业务系统服务。

产品特性

数据模型管理

可以根据不同的业务域，组织管理数据模型；支持数据模型的增删改查；支持模型的复制，修改和再定义，满足业务快速变化的需求

数据加工处理

中台产品支持标准的数据处理算子，通过算子堆叠和任务调度，完成数据从一个数据集到另一个数据集的转换过程，替代了传统的人工ETL过程，随着模型和数据集的调整，对应的转换过程也可以自动调整

数据算法（AI）管理

为了应对业务的复杂性，DataFormula数据中台支持复杂的算法加工能力，可以对数据进行标签化，或者通过AI机器学习算法，进行复杂数据处理和业务处理

数据质量管理

重新设计了数据质量管理，从最新的数据处理的理念出发，将数据质量的概念和数据处理流程混合，保证用户对数据的质量有一个全面的掌控，并可以对数据质量进行优化

数据API服务

数据中台中，对外输出数据服务均通过API完成，DataFormula提供配置化的API能力，可以通过简单的配置将数据集转换为数据API，供前端应用使用，同时API还能具备权限控制和数据缓存能力，提升系统响应能力

流式数据处理

针对目前比较流行的IOT数据场景，以及其他流式数据处理场景，DataFormula提供了完整的流数据处理能力，方便将流式数据进行存储推送，并同步进行计算，汇入数据中台

异构数据源整合

兼容多种数据源，可接入企业内部各类业务系统API、各种经典关系行数据库（Oracle，SQLServer，MySQL，DB2等），各种NoSQL数据库（MongoDB等），各种数据文件（CSV，EXCEL），还有其他公共数据服务等来源，兼容各种数据源类型，轻松集成整合所有相关业务数据

核心技术

微服务架构

DataFormula产品采用标准的微服务架构，各个模块相对独立，可以针对性的进行模块优化和升级。降低了系统之间的耦合度，为产品提供了更好的业务适应性。

Go体系

Go语言作为一个高性能开发语言，在DataFormula中，涉及性能要求比较高的模块，均采用Go作为开发语言，保证了整体系统性能。Go体系经过长期的发展，已经非常成熟，也可以降低一部分系统部署复杂度。

Java体系

DataFormula中部分模块使用Java语言进行开发，针对某些特定的二次开发场景，Java语言是一个更为通用的开发体系，可以快速的上手和维护。

DHDataEngine（MPP+内存混合数据引擎）

作为数据中台的核心引擎，数据的快速处理能力，是重中之重。DataHunter独有的MPP+内存混合并行计算架构，可以为数据业务化提供强劲的支持。该技术融合了并行计算架构和内存结算架构，可以充分利用内存，释放硬件能力。

数据中台Data Formula可以解决企业面临的数据孤岛、数据不一致、数据维护混乱等问题，根据企业特有的业务架构，构建起一套统一的、标签化的、API化的，并可持续更新的数据资产管理平台，该平台的核心目标是为企业前台业务部门提供决策快速响应、精细化运营及应用支撑等要求，使企业真正做到自身能力与用户需求的持续对接。