火山引擎大数据研发治理套件DataLeap
首页
市场趋势随着企业业务规模越来越大，应用场景不断融合，因此业务数据形态越发复杂，数据量不断增加，对数据管控和数据资产价值提升需求越来越高、业务对数据分析时效性增强，希望将企业数据资源转化为数据资产，再利用数据资产为业务创造价值，实现数字化转型。
当前挑战
DataLeap产品定位大数据研发治理套件
一站式数据研发治理套件，搭配EMR/ByteHouse/LAS 等存储计算引擎，快速完成数据集成、开发、运维、治理、资产、安全等全套中台及湖仓一体平台建设，提升数据研发效率、降低管理成本。
DataLeap产品架构
DataLeap核心能力兼容Hadoop开源生态，支持EMR、ByteHous8.LAS. Serverless Fink.CDH等多种计算引擎，覆盖数据集成、开发、运维，治理及资产管理全链路。
DataLeap产品优势一站式数据中台套件，帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设，提升数据研发效率、降低管理成本。搭配EMR/ByteHouse/ServerlessFlink / LAS等大数据存储计算引擎，加速企业数据中台及湖仓一体平台建设，为企业数字化转型提供数据支撑。
核心优势
DataLeap应用场景与产品价值以数据驱动和数据消费为目标，提供数据资产全生命周期管理能力。持续降本增效，为分析决策提供支撑。
降本增效，释放人力成本
大数据存储计算成本优化
节约资源管理成本
数据质量管控提升
数据公信力保障
数据指标体系管理、模型规范统一、标准化共享服务，企业级大数据安全合规监管与风控。
一站式数据开发治理平台；全链路做数据全周期体验。
生态优势
与火山引擎DataSail / EMR / ByteHouse / LAS / ServerlessFlink深度集成，配合火山独有数据BP咨询提供专业的服务
低成本搬站
提供搬站工具及原厂贴身服务，最大限度帮助企业减少迁移上云成本
使用门槛低
使用体验更贴近开源
高性价比
提供灵活的付费方式及不同规格的软件版本，满足不同维度不同场景客户的使用。
应用场景1：IDC上云/他云搬站场景价值
针对企业IDC服务器规格陈旧、硬件运维成本高、资源无法弹性伸缩等痛点。
结合火山引擎云上存算分离架构，提供配套迁移工具和方案，大幅降低资源及人力运维成本，在生产链路提升分析决策能力。
稳定可靠：
结合半托管/全托管形态免除硬件运维成本。
平滑迁移：
提供配套迁移方案，上云耗时短，原业务改造成本低。
弹性伸缩：
EMR、 LAS、 DataSail
应用场景2：分布式数据治理场景价值
帮助企业实现各业务单元内的数据治理闭环，通过灵活的分布式数据治理，解决问题发现难、逐点治理散、效果不直观等痛点。
适配更多业务特性和发展阶段要求，提供一站式数据治理解决方案。
治理结双路径
丰富治理规则能力，提供治理全景及规划诊断，资源优化服务。
通过有序的治理方案和进度追踪，逐层推进并展示治理收益效果。
应用场景3：实时数仓场景价值
面向泛互/金融/汽车等行业线，打通批流一体数据链路采集和加工，构建实时的决策科学链路，在流量下降时投流、顾客商品智能推荐、提供在线化业务实时预警效率，秒级的数据响应和极致的实时分析体验。
业务价值
运维成本降低
通过DataLeap构建实时数据分析系统，专注于业务发展需求。
数据更新优化
秒级响应，提升极速变更可观测能力，为业务赋能。
查询性能提升
实时OLAP数据分析场景，满足更高效查询分析体验。
使用产品： EMR、DataSail
场景架构拓扑图
应用场景4：数据湖构建场景价值
帮助企业构建智能大数据湖仓分析服务、通过DataLeap提升数据研发运维效率，降低数据管理成本，建立完善数据资产体系，满足海量化数据消费需求，驱动智能化业务应用发展。。
业务价值
多源异构集成：解决海量数据孤岛问题，实现高速稳定的批/流式数据入仓湖
研发治理闭环：基于DataOps和分布式治理理念，安全高效、低成本快速构建。
数据资产门户：数据消费推动更丰富的数据资产融合统一，为决策分析提供支撑
使用产品：
EMR、 LAS、 DataSail。
场景架构拓扑图
客户案例 - 某广告投放平台头部企业所属行业：泛互 | 核心应用场景：实时分析系统。
客户简介
作为一个广告投放平台，客户面向10+行业服务1000+客户，单月单月投放消耗超过60亿。目前支持巨量引擎、巨量千川等媒体的多账号聚合及程序化广告的批量投放。客户原使用国内某主流云厂商【云数据仓库】产品搭建数仓系统，支撑广告计划、素材、创意等场景的数据管理和分析。
业务痛点
1、实时数据不一致，无法校验，CDC排查链路复杂；
2、数据链路稳定性差，实际任务虽在正常执行但发生提交异常，导致业务侧感知延迟告警，缺乏及时有效的监控治理规范；
3、成本高，当前数仓系统的实时性，不满足广告计划维度数据的实时可变需求；
4、数据运维难度大，数据研发显示未同步异常状态，数据感知跨团队协作问题。
解决方案
1、通过独立的DataLeap调度平台，直接替换主流云商场的云产品调度能力弱问题，原Azkaban调度切换到DataLeap，形成对DataSail实时任务调度集中管理
2、通过飞书告警联动，DataLeap实现实时报警监控告警触达，来实现对实时任务运行状态的监控。配置自定义报警规则，实时任务报警监控功能
3、Dataleap支持对EMR Doris做ETL任务开发。原Azkaban调度迁移至Dataleap
4、使用EMR Doris替换原云数仓作为OLAP引擎，实现海量数据的秒级报表分析
5、Doris onES新架构结合Datasail实现秒级数据时延，提升客户广告计划变更可观测能力，如广告计划变更后的点击率变化。
-使用到的产品：
大数据研发治理套件 DataLeap + EMR-Doris + 全域数据集成 DataSail + 火山Kafka + ES+TOS
实施效果
弹性资源优化 50%+
运维成本降低 80%+
数据查询 秒级
客户案例 - 某泛互教育行业头部企业所属行业：互联网 | 核心应用场景：IDC线下上云。
客户简介
作为国内在线教育/音视频内容的头部企业，客户旗下有课程、高研院、听书、电子书、直播等多个业务线，APP内容业态覆盖PCG、UGC等多种方向，随着业务的快速发展，在精细化运营、数据治理等方向遇到了不少挑战。
业务痛点
本地数据中心CDH服务器规格陈旧且维保到期，社区开源免费版本停止更新；
IDC集群无法以弹性伸缩的方式合理使用资源；
大数据平台迁移上云要求耗时短，原有业务改造成本低；
运维管理成本（资源+人力）期望进一步降低。
解决方案
1、DataLeap产品数据治理功能丰富，本地数据中心可以平滑上云；
2、支持客户生产环境离线链路在未来升级为准实时链路，进一步提升实时分析决策能力；
3、LAS的性能、兼容性，接近或优于第三方主流云服务工作量占比不足10%，迁移耗时全面领先友商；
4、火山引擎大数据团队配备了10+全套的自动化迁移工具，预计人工操作。
客户案例 - 某国内领先的线上教育机构所属行业：泛互 | 核心应用场景：实时分析系统
客户简介
某K12在线教育客户。作为国内领先的教育数字化服务专业机构，客户专注于研发高质量的数字教育资源和系列产品应用。近10年成立以来，已发展为国内知名的“互联网+” 教育综合性解决方案提供商。
业务痛点
1、资源成本使用较高、模型混乱，数据缺乏统一口径；
2、数据依赖关系混乱，数据可用性低，维护成本高，缺乏有效的数据质量监测的手段，数据易用性低，脏数据占比高。
3、缺少流程管理，数据变动影响前端应用，波动较大，缺少体系化的埋点方案，埋点方案缺乏监控和管理。
4、埋点数据质量不高，存在重复埋点，埋点缺乏版本管理，历史埋点难追溯
解决方案
1、客户将基于线下IDC自建的开源大数据平台全面迁移至火山引擎开源大数据平台E-MapReduce，通过EMR半托管形态免除客户硬件运维成本，弹性伸缩架构升级
2、通过将客户端上报切到火山云，DataSail提供客户端数据上报方案，提供改造版SLS iOS 和SLS Android SDK，辅助客户快速替换成新SDK 双发开关，通过数据双跑校验，确保切换期的双跑验证采用，对业务侧影响最低，降低迁移成本。
3、DataLeap将数据统一口径，解决数据依赖关系混乱，数据可用性低，维护成本高等问题，通过有效的数据质量监测的手段，解决数据易用性低，脏数据占比高等问题极大提升数据质量，在丰富数据资产体系同时促进了数据消费活跃度。
-使用到的产品：
EMR + DataLeap + DataSail + Serverless Flink + TOS + PG+Mongo
产品推荐
