产品简介

Data Formula是由DataHunter(北京数猎天下科技有限公司)自主研发的一款企业级数据中台软件产品。其基于并行计算技术架构,具备操作简单、部署灵活、快速响应等特点。Data Formula可广泛应用于各行各业,从百亿级数据量的企业到各垂直中小企业,专注为企业提供数字化运营基础平台,解决各行业的业务数据分析需求。

Data Formula可以帮助企业搭建功能完整的数据中台,提供了从数据汇聚、数据处理、模型管理,任务调度,算法管理,数据服务于一体的完整解决方案。DataFormula致力于帮助企业快速搭建数据基础平台,及时通过数据发现问题进而改进业务。

核心价值
数据资产管理,掌控企业数据脉络

企业数据资产,包括了数据模型,数据目录,数据集,以及针对这些数据资产的转换处理能力,包括数据算法、AI算法等。

DataFormula摒除了传统数据管理模式中,复杂,难以理解的数据管理方法,改用业务视角的数据管理模式,从数据模型的增删改查,到数据集的转化处理方法的管理,都让数据管理的复杂度进一步降低。可以使得数据管理人员,甚至业务人员能更好的理解数据。

DataFormula还重新设计了数据质量模块,让业务从数据转换的角度去查看数据质量,更好的体现了数据为业务服务的思想。除此之外,数据血缘关系也得到了重新的设计和梳理,更方便的查看数据的处理演变过程,为数据业务化提供了进一步的支持。

消除数据孤岛,整合业务数据

众所周知,我国的企业信息化发展相对落后,企业早期缺乏长远的IT建设规划,发展至今,各个业务系统仍相对独立,导致数据孤岛长期存在。随着大数据时代的到来,数据来源变得多样化,数据结构也更加复杂化,这使得企业在数据采集、ETL等方面会耗费很大精力。业务数据的过度分散,让企业很难从全局角度去分析业务的发展情况。

针对企业数据孤岛问题,DataFormula提供了完善的解决方案。基于自主研发的数据连接器框架,DataFormula可以对接企业内各个业务系统,包括ERP、CRM、财务系统、日志系统等,帮助企业整合所有业务数据,还可以对接数据文件、API,NoSQL数据库等。此外,DataFormula基于并行计算架构的存储体系,支持海量业务数据的处理,确保数据需求响应速度可以达到秒级。

数据服务API化,提升服务效率

数据中台另一项重大的改进就是数据服务化,通过自定义的数据服务API,数据中台可以快速的响应前端业务需求变化。

不同于以往的数据仓库产品,DataFormula无须通过数据库的账号和密码进行数据共享。数仓时代的账号密码方式,有诸多弊端,一个是数据安全性无法保证,另一个数据服务性能无法保证。

在新的DataFormula自定义API的服务模式下,操作人员可以通过界面配置,直接使用RestfulAPI的模式暴露数据,提供给前端应用,可以增加数据权限校验,也可以通过缓存,增加API的数据服务性能,更好的为前端业务系统服务。

产品特性
数据模型管理

可以根据不同的业务域,组织管理数据模型;支持数据模型的增删改查;支持模型的复制,修改和再定义,满足业务快速变化的需求

数据加工处理

中台产品支持标准的数据处理算子,通过算子堆叠和任务调度,完成数据从一个数据集到另一个数据集的转换过程,替代了传统的人工ETL过程,随着模型和数据集的调整,对应的转换过程也可以自动调整

数据算法(AI)管理

为了应对业务的复杂性,DataFormula数据中台支持复杂的算法加工能力,可以对数据进行标签化,或者通过AI机器学习算法,进行复杂数据处理和业务处理

数据质量管理

重新设计了数据质量管理,从最新的数据处理的理念出发,将数据质量的概念和数据处理流程混合,保证用户对数据的质量有一个全面的掌控,并可以对数据质量进行优化

数据API服务

数据中台中,对外输出数据服务均通过API完成,DataFormula提供配置化的API能力,可以通过简单的配置将数据集转换为数据API,供前端应用使用,同时API还能具备权限控制和数据缓存能力,提升系统响应能力

流式数据处理

针对目前比较流行的IOT数据场景,以及其他流式数据处理场景,DataFormula提供了完整的流数据处理能力,方便将流式数据进行存储推送,并同步进行计算,汇入数据中台

异构数据源整合

兼容多种数据源,可接入企业内部各类业务系统API、各种经典关系行数据库(Oracle,SQLServer,MySQL,DB2等),各种NoSQL数据库(MongoDB等),各种数据文件(CSV,EXCEL),还有其他公共数据服务等来源,兼容各种数据源类型,轻松集成整合所有相关业务数据

核心技术
01
微服务架构
DataFormula产品采用标准的微服务架构,各个模块相对独立,可以针对性的进行模块优化和升级。降低了系统之间的耦合度,为产品提供了更好的业务适应性。
03
Go体系
Go语言作为一个高性能开发语言,在DataFormula中,涉及性能要求比较高的模块,均采用Go作为开发语言,保证了整体系统性能。Go体系经过长期的发展,已经非常成熟,也可以降低一部分系统部署复杂度。
02
Java体系
DataFormula中部分模块使用Java语言进行开发,针对某些特定的二次开发场景,Java语言是一个更为通用的开发体系,可以快速的上手和维护。
04
DHDataEngine(MPP+内存混合数据引擎)
作为数据中台的核心引擎,数据的快速处理能力,是重中之重。DataHunter独有的MPP+内存混合并行计算架构,可以为数据业务化提供强劲的支持。该技术融合了并行计算架构和内存结算架构,可以充分利用内存,释放硬件能力。

数据中台Data Formula可以解决企业面临的数据孤岛、数据不一致、数据维护混乱等问题,根据企业特有的业务架构,构建起一套统一的、标签化的、API化的,并可持续更新的数据资产管理平台,该平台的核心目标是为企业前台业务部门提供决策快速响应、精细化运营及应用支撑等要求,使企业真正做到自身能力与用户需求的持续对接。

应用价值
提升数据共享效率
通过数据存储架构的设计、数据标签体系构建、数据指标与算法模型的搭建,形成企业基础数据能力并整合在平台系统中,同时实现了各类系统间数据的交换和互联互通,为上层各种数据应用提供了统一的服务接口,最大程度上保证了数据的共享。
避免重复开发,保证前端业务的“轻量化”
业务前端需要的数据应用能力可以经过数据中台进行实现,这样可以确保前端业务的轻量化,避免出现重复开发带来的效率及成本等问题。
数据资产管理体系的建立
数据资源盘点、联接、规范管理,帮助解决传统信息系统建设过程中,因“烟囱式“架构导致的数据隔离、数据不一致等问题,避免“数据孤岛”的出现。同时实现数据质量的自动检查、监控,及时发现数据质量问题。
DH Data Formula

帮助客户进行业务流程重塑,真正做到数据驱动

产品推荐 查看更多>>
    腾讯云弹性MapReduce

    弹性 MapReduce(简称EMR)是基于云原生技术构建的安全、低成本、高可靠、可弹性扩展及持续演进的开源大数据计算框架, 提供高效部署和易于管理的Hive、Spark、Hbase、Presto、Flink 、Doris、Iceberg 等开源大数据组件,帮助企业在提升研发效率、运维效率、降低硬件成本的同时,轻松应对 PB 级海量数据的价值挖掘挑战。

    安全、可弹性扩展的开源大数据计算框架

    提供高效部署和易于管理等开源大数据组件

    提升研发效率、运维效率

    轻松应对 PB 级海量数据的价值挖掘挑战

    Tableau Server Management

    大规模管理Tableau Server。

    可管理性

    可扩展性

    优化工作负载

    博睿宏远链路全景图

    通过博睿宏远布局全国的IDC骨干节点,对互联网主干链路进行不间断监控,对全国骨干网络各个链路之间的数据连通性进行全景呈现,帮助客户全面掌握主干链路整体运行情况。

    高效稳定

    使用便捷