icon艰难的企业数据建设之路icon
数据集成难
数据分散在各个业务系统和应用中,不同数据格式/类型导致数据集成的困难
数据质量差
业务数据存在缺失值异常值、重复值等问题,影响分析结果准确性和可靠性
数据口径不一致
由于不同业务的数据规范和指标定义不同,难以构建企业级数据资产
数据开发难
数据开发需要大量的代码,维护工作量大,且强依赖于个人开发能力
IT大量重复工作
IT在各个系统进行重复的数据处理工作,并且后续难以监控和维护
数据安全难保障
数据传输过程依靠直连业务库或人工导出数据文件,容易造成数据泄露、篡改丢失等安全问题
icon倾听客户声音,完善产品矩阵icon
iconFineDataLink:低代码、高时效的一站式数据集成平台icon
可视化整合多源异构数据,高效搭建企业级数据仓库
补全转换不合规数据,统一数据口径,提升数据质量
预警跨业务数据异常,实现“数据找人”
实时同步数据(跨地域跨业务),提升业务数据时效性
毫秒级数据复制,实现企业数据快速备份
用于搭建实时ods层,构建高时效数据仓库
 
依托于API构建企业级数据资产,互通共享
深化SaaS连接器,实现全业务流程自动化
云上数据快速下云备份,提升数据管理规范性
安全稳定的跨域传输,节省专线成本
icon场景一:可视化多源异构数据整合,高效搭建数仓icon

场景价值:通过DAG+低代码开发模式搭建企业级数仓,快速消灭信息孤岛,历史数据全部入仓,支持更多分析场景;同时将计算压力转移到数据仓库,降低对业务系统的压力。业务痛点:系统众多,形成数据孤岛,数据打通成本高。历史数据量大,只能使用汇总数据分析,无法进行层层追溯。直连业务系统进行关联分析,业务系统和分析报表性能互相影响。

icon场景二:跨域/跨业务自动实时同步数据,高效准确icon

场景价值:通过FDL数据管道功能,日志监控的增量技术,提高数据增量更新效率,解决数据量大以及网络带宽限制带来的数据延迟,解放重复劳动人力,为企业决策提供更准确的数据依据。业务痛点:由于网络带宽限制,大数据量跨域同步和计算只能人工导出,再用excel进行汇总分析。整个链路耗时较长,数据延迟严重,能够获取的数据也不全(excel支持数据量有限),导致分析决策准确性低。

icon场景三:依托于API构建企业级数据资产,互通共享icon

场景价值:基于FDL的API数据接入以及数据服务的能力,构建了“联接共享”的数据基座,保证安全、稳定传输的前提下,实现数出一孔,互通共享。业务痛点:企业安全规范要求,不允许直连业务库,代码开发接口效率低,人工传输易出错。缺乏安全的数据共享机制,随着数据消费端增加,IT出现重复造轮子的倾向。

icon场景四:SaaS连接器,实现业务流程自动化icon

场景价值:本地数据和简道云信息双向实时互通,业务流程自动运转,不需要人工介入。云上、云下业务可以进行全局关联分析,提供更全面的决策依据。业务痛点:整体业务流程分散在多个业务系统中,员工需要在这些系统间频繁跳转,操作程序繁琐且易出现遗漏。手动开发数据集成的代码工作量繁重,开发周期普遍较长,难以适应较快业务节奏。

icon场景五:云上数据快速下云备份,提升数据管理规范性icon

场景价值:大幅降低数据从简道云上备份至本地数据库的开发和人工成本,并且支持简道云前端事件通过API接口查询历史数据,实现存储分离的云到端数据管理合规诉求。业务痛点:根据国家数据安全管理规范,企业数据(尤其国企/政府单位)必须在本地存档。云上表单数据存储随着使用时间达到上限,历史数据难以留存。不论是通过代码开发接口还是手动导出Excel,数据备份及维护成本都很高。

icon场景六:安全/稳定的跨域传输,节省专线成本icon

场景价值:通过FDL的数据服务,让企业基于外网带宽也可以安全、稳定的进行跨域数据传输,不仅为企业节省了专线的成本,也便于企业自主监控并管理异常。业务痛点:当企业需要在多地之间,进行数据跨域传输时,为保证数据安全以及传输稳定,往往会采用专线进行传输。但是专线动辄每年几十万、上百万,对于大多数企业来说都是比较大的负担。

icon产品架构icon
icon强大的数据对接能力icon
icon实时数据管道——高性能数据实时同步引擎icon

基于CDC、LogMiner、Binlog等日志实时捕获源数据库的变化,即时更新到目的数据库,保障数据高时效性。解决企业在大数据场景下的增量和实时同步需求,降低业务系统性能压力,实现读写分离,帮助企业快速构建高效数据通道。

icon实时数据管道:高可靠性和容错性,错误队列+断点续传icon
 
支持断点续传和数据热备机制,可随时恢复数据,不需要重头同步数据
允许一定容错,支持脏数据阈值设置和通知功能,可通过短信、邮件、平台消息等进行消息提醒
icon实时数据管道:自动同步源表结构变化icon
icon实时数据管道:向导模式配置5分钟完成配置icon
 
向导式配置,路径更清晰
操作页面简洁,无代码配置
字段自动映射,减低手动操作步骤
icon高效数据开发:步骤流和数据流,数据开发流程更清晰icon
icon高效数据开发:双核引擎,灵活满足不同场景icon
ELT-数据同步
从数据来源端抽取数据直接加载入数据目标端,利用数据库完成数据处理。
应用场景:适用于较大数据量的同步场景,当单表数据。量超过1kw时,推荐使用数据同步。适用于没有复杂处理逻辑的数据同步场景。
ETL-数据转换
从数据来源端抽取数据,进行数据处理,再加载入数据目标端,利用FDL完成数据处理。
应用场景:当数据需要利用FDL完成复杂场景处理时,推荐使用数据转换。
icon高效数据开发:实现跨数据源批量同步数据icon
icon高效数据开发:提供多种数据转换算子,灵活处理数据icon

ETL-数据转换:支持对异构数据进行数据关联、字段设置、行列转换、JSON解析、数据比对等功能,以满足多种场景下的数据处理需求。

icon高效数据开发:支持JSON解析,一键解析半结构化数据icon
应用场景
支持对接API数据输入,解析 JSON /XML结构的数据,将其输出为行列格式的数据,以便后续进行数据处理和使用。
icon高效数据开发:支持Spark SQL,覆盖更多数据转换场景icon
应用场景
数据转换可视化算子不够丰富时,可使用Spark Sql算子应对各类数据处理场景:
实现在FDL产品内便完成对各类数据源的加工处理
支持左右关联、上下关联、分组汇总、排序等计算
icon高效数据开发:循环容器,支持对数据进行循环遍历icon
大数据量分段执行
历史数据一次性抽取,消耗时间长、资源高,可采用分时间段循环多次抽取。
循环执行
参数赋值将参数值逐行输出
循环容器节点循环遍历参数
将 API 接口中的数据依次取出落库到数据库
icon高效数据开发:对接企微,实现“数据找人”icon
面对迅速变化的业务数据,为保证关键指标出现异常时快速做出业务响应,可使用消息通知对接企微,完成数据监控和预警。
应用场景:
支持多种通知类型
支持自定义通知内容
对节点运行状态进行通知
对数据异常进行通知
icon高效数据开发:支持SQL脚本,对数据库进行增删改icon
应用场景
当需要对数据库内的数据进行以下处理时,可使用SQL脚本:
创建表
更新表
删除表或数据
关联表、汇总数据
其他
icon高效数据开发:支持调用Shell脚本, 对接外部的独立数据处理过程icon
应用场景
支持通过执行 shell 脚本,对接外部的独立数据处理过程,实现:
SVN更新
文件运维清理
调用Kettle任务
调用Python计算任务
调用Spark计算任务
执行数据库备份还原等
icon数据服务icon

一键发布API接口,解决数据传输最后一公里问题

安全
企业计划将多个系统的风控模块和中台打通,需要将相关系统的数据给供应商,为了不暴露数据库信息,选择使用FDL来发布API,规避了数据泄漏的安全风险
便捷
子公司在做系统建设时,需要集团里的项目、合同信息等信息,集团IT可以将代码开发接口方式替换成零代码开发,减少开发耗时,降低接口维护成本高。通过FDL进行接口发布,至少节约50%人力
共享
各成员单位之间存在资信数据壁垒,客商异常、资信数据异常时无法及时协同告知,导致数据应用”孤立化”。数据服务以资信共享平台的展现形式,为成员单位及时掌握资信信息和预知风险提供帮助,实现企业的降本增效。
icon敏捷任务运维:实时进行任务运维监控管理icon
 
提供任务运行情况数据多维看板,帮助管理员迅速掌握FDL平台任务运行情况。 支持任务数据联动,集中展示出现报错的任务,保障问题不被遗漏,任务异常处理全面有序。
icon敏捷任务运维:详尽的任务运行记录,任务调优更有依据icon
 
任务运行日志中展示每个节点的平均写入速度、读取速度,更新行数、总耗时等数值,便于任务调优。
实时管道任务中记录任务输入、输出的读写行数和速度,可用于实时检测数据同步性能。
icon调度配置:灵活完善的调度策略icon

FineDataLink提供了定时调度功能,可以定期自动运行定时任务,以保证数据能够及时更新。

icon敏捷运维管理:企业级权限管控icon
多平台统一
多种用户管理&认证方式,打通企业多平台用户管理困扰。
全方位管理
权限人、权限项、权限级别交叉组合,满足企业场景下的权限管理需求。
低成本实现
分级授权,在满足权限体系要求的情况下同时减轻用户的权限管理成本。
iconFineDataLink客户案例-恒丰纸业icon
用户痛点
• 各系统数据口径不统一:企业内各部门的数据口径不统一,缺乏标准化数据指标体系。
• 传统数据分析产品不具备数据开发的能力:公司原数据分析工具需要大量的SQL脚本进行对数据的清洗、转换,导致开发效率低,运维成本高。
解决方案
FDL搭建数仓:FDL对接金蝶苍穹数据,经过数据分层形成数据仓库,统一规范数据口径,形成标准化指标体系。
FDL替换FR数据处理:使用FDL内节点和算子,能够避免大量复杂的sql语句,极大提升效率。
icon恒丰纸业:搭建标准化数据指标体系icon
iconFDL项目成果icon
搭建了较为完善的企业级数据仓库,形成标准化的数据指标体系,对接金蝶苍穹ERP,形成标准化的指标数据供业务系统使用,解决数据口径不统一,数据质量低的问题,提高数据的准确性和及时性,成为公司信息化进程的里程碑:“一”个平台:搭建统一的数据分析处理应用平台。“二”个统一:统一规范数据口径,统一逻辑数据应用。“三”个提升:提升业务层高效自主分析;管理层问题及时处理;决策层科学全面掌控。 “四”个改善:改善数据质量和规范;改善数据分析效率和价值;改善决策及时性和准确性;改善企业可持续竞争力。
icon典型场景1:对接 “标准金蝶苍穹合并报表”接口数据处理icon

业务场景:合并报表的业务逻辑由金蝶苍穹生成,仅提供API由外部对接,合并报表共有6套分析逻辑,10个子公司各计算一次,所以共统计60次。方案价值:FineDataLink循环容器功能对于RestAPI接口类型数据获取的效率进行了大幅提升,在标准金蝶苍穹合并报表场景下,当前设计的任务流程,可实现快速复用。

icon典型场景2:维度数据增删改, “数仓拉链表”场景icon

业务场景:客户的数仓DIM层中,部分维度表需要实现基于来源表的数据的新增和修改情况,来动态调整目标表数据,目标表数据只能增加、修改,不可删除。方案价值:针对复杂的数据处理流程,FineDataLink内通过数据同步、参数赋值、sql脚本等节点组合即可完成快速上线,学习成本低、开发效率高。

icon客户心声icon
搭建标准化的数据指标
形成标准化的指标数据供业务系统使用,提高数据准确性、及时性,有效支撑业务决策。
高效开发
FDL界面很友好,可视化的操作界面,丰富的算子,拖拽即可完成任务的开发,非常容易上手。
数据处理效率提升
相比传统的数据处理工具,FineDataLink数据处理更快,更新时间更短。
iconFineDataLink客户案例-雍禾植发icon
用户痛点
• Kettle不清楚整体运行情况
• 报表sql取数慢
• Kettle运行报错难定位
• 报表预览慢
解决方案
FDL替换Kettle :使用FDL完成数仓ODS层到数仓DM层的数据处理,通过FDL得任务运维就可以更好定位报错及了解整体运行情况。明确ETL和报表的关系:每个ETL任务对应一个报表模板数据集,所以一个报表可能对应多个ETL任务,1个ETL任务只对应一个报表。
iconFDL项目成果icon

报表性能优化:通过FDL处理的报表性能优化60%以上。数据处理的易用性提升、支持场景范围扩大:相比kettle等开源数据处理工具,FDL的易用性高的多,提升报表模板数据集的数据处理。任务运维更加便捷:kettle不具备任务运维功能,无法快速查询工程内所有kettle任务的运行情况,而FDL的任务运维支持查看工程内ETL任务总数,最近一次运行成功的ETL任务数等信息,可以辅助客户快速定位运行失败的ETL任务。指标监控预警:通过FDL定时计算业务关键指标,完成办公工具数据推送,改变以往跨部门代码开发的方式,为客户节省大量时间成本,提高上线效率。

icon典型场景icon

">场景1:大屏之前查询比较慢,需要60s时间,使用FDL任务完成对应数据的获取,大屏模板数据集内只使用select * from table的方式获取结果表全部数据,优化后大屏预览只需要5s,大屏预览速度有大幅提升。场景2:在使用FDL之前,需要在报表模板数据集内写大量sql进行计算,最终输出的指标数据只有几行;使用FDL后,因为结果数据比较少,所以并且报表模板数据集的sql变得非常简洁,易于后续报表运维。

icon雍禾植发:客户心声icon
报表性能提升
使用FDL之前,报表内模板数据集sql的复杂度比较高,sql动辄几百行,导致sql取数慢,进而导致报表预览加载比较慢;使用FDL后,复杂度比较高的sql全部沉入数据中间库内,报表模板数据集内只需使用简单查询全量数据的sql,整体来看,使用FineDataLink作业处理过数据的报表性能优化60%以上。
数据处理的易用性提升
相比kettle,FDL是更易用,比如之前在kettle中的表输入和表输出,需要2个组件,在ETL作业内只需要1个同步节点就可以解决。FDL相比报表模板数据集的数据处理支撑处理场景范围更多,比如数据同步、跨库关联等,我们现在已经大部分的数据处理工作用FDL来处理了。
其他
FDL的任务运维页面相比kettle更详细,方便运维。开发界面简洁友好,开发效率很高。
icon帆软售后服务:多渠道为客户提供精细化的售后服务支持icon
icon帆软售后服务:客户自助服务系统,需求/问题进度随时跟踪icon
icon帆软售后服务:标准化质量管理体系icon
产品推荐 查看更多>>
    帆软FineDataLink一站式数据集成平台

    帆软FineDataLink一站式数据集成平台,可视化整合多源异构数据,高效搭建企业级数据仓库,实时同步数据(跨地域跨业务),提升业务数据时效性。依托于API构建企业级数据资产,互通共享,云上数据快速下云备份,提升数据管理规范性。

    低代码

    高时效

    多源异构

    数据整合

    袋鼠云数字化基础软件与应用服务平台

    袋鼠云数字化基础软件与应用服务平台,在服务器、操作系统、数据库、大数据平台等4大领域全面国产化适配,累计与100+国内主流信创厂商完成产品和技术适配。DataOps高效开发套件,全域数据治理新范式,数据多维分析,驱动业务精细化运营。

    奇点云快消行业CDP客户数据平台

    奇点云快消行业CDP客户数据平台建数据整合、标签加工、洞察圈选与互动式营销为一体的消费者运营全流程,全域数据采集以及会员数据打通,进行算法模型应用,最终消费者营销自动化。

    全域数据采集

    统一会员数据中心

    人群洞察与圈选

    营销自动化