
E - MapReduce
AI 时代开源大数据平台,提供丰富的增强型大数据组件,100%兼容开源,具备极致弹性资源、存算分离架构,覆盖迁移上云、湖仓分析、多模数据处理、AI应用等场景,加速AI业务落地,激发数据价值。

火山引擎EMR产品设计理念

火山引擎EMR产品架构图

EMR大数据软件栈 3.x

EMR大数据软件栈 2.x

火山引擎 EMR产品特性
火山引擎 EMR 核心优势
火山引擎EMR产品优势
EMR应用场景(1/6):数据预处理
· EMR增强Ray引擎特性,通过任务级别的弹性伸缩,减少固定资源消耗,大幅降
低资源成本。
· EMR Proton SDK解决文件语义和对象语义转换问题,性能大幅提升,另外
PyProton适配LLM算法工程师的研发习惯,而且EMR Proton 可大幅降低对象存储
带宽瓶颈。
· EMR 集成开源增强的Celeborn组件,支持Remote Shuffle Service能力,可达五
百万Spark Partition Shuffle,效率大大提升,业内Top水平。
EMR应用场景(2/6):大数据迁移上云
场景介绍
火山引擎EMR 具备平迁能力,提供自动化迁移和监控工具,提高效率、降低复杂度,针对开源组件版本滞后、技术栈复杂等问题,快速构建高性能、低成本大数据平台。

EMR应用场景(3/6):云原生数据湖仓
场景介绍
随着企业发展,数据规模庞大、结构复杂、引擎众多、分析复杂,传统架构难以支撑,火山引擎 EMR 湖仓方案满足低成本、统一数据存储&管理、多样分析场景等需求。

EMR应用场景(4/6):离线数据分析
场景介绍
构建以Hadoop为核心的企业级离线数仓,对多种类型数据做采集、清洗、转化,一个平台支持多种计算引擎,满足复杂业务分析需求,支撑企业智能分析高效决策。

EMR应用场景(5/6):交互式分析
场景介绍
通过火山引擎EMR 对各类业务系统的结构化/非结构化数据进行加工和查询,支撑上层业务灵活且快速地进行数据分析、探索、预测,提高业务决策效率、组织响应速度。。

EMR应用场景(6/6):实时数据分析
场景介绍
火山引擎EMR 支持数据实时采集和流式处理分析、支撑十万级 QPS在线查询分析,达到实时数据展示和动作触发,满足实时性、高并发等场景,支撑实时计算及决策。

案例1
国内头部某大模型公司
客户是成立于2023年的人工智能通用应用公司,主要面向C端市场。在技术上实现了包括深度解析庞大的代码库、实现多步骤复杂任务的智能自主处理等的终身助理,乃至开发真正统一架构的多模态模型等。
客户痛点
时效性要求高:数据规模大 (PB级别),时效要求高,需在业务规定时间内完成数据处理。
数据量庞大:数据处理吞吐量大,对对象存储网络带宽要求高。资源调用不固定:数据处理的资源需要非常灵活,不会按照Pipeline来做定时调度。
语义不一致:计算过程中常用Spark/Ray等分布式计算框架,但框架往往是采用文件语义,与数据存储的对象语义不一致。
解决方案
高性能:采用先进的分布式计算框架,能根据数据规模线性扩展计算规模,确保计算能力与数据量完美匹配,从而始终保持高效稳定的计算效率。同时,Spark/Ray与EMR分布式缓存Proton相互配合,完美实现了TOS的文件语义对接,有效降低了对象存储的带宽要求,减少了不必要的资源消耗。
灵活性强:用户能够根据具体的业务场景和分析需求,迅速调整分析环境在火山引擎 vke集群上灵活快速的添加EMR Spark/Ray等数据分析引擎,快速搭建起最适合当前任务的数据分析环境,极大地提高了数据分析的效率和质量,使整个数据处理流程更加敏捷和高效。

案例2
某AIGC文生图垂类公司
客户是一家年轻的生成式AI平台,成立于2021年。作为国内第一批入局AI生成领域的技术团队,致力于通过自研的算法、底层引擎、平台为个人用户和企业客户提供创意生产、广告、数字藏品等场景下的服务,仅成立一年时间就积累了可观的社区用户和商业客户。
客户痛点
数据获取难:高质量的数据集是模型训练的基石,需要可以高效便利的下载数据集。
数据处理慢:比如使用小模型给图片进行审美打分,当前用户使用 脚本分批执行,处理效率极低。
处理成本高:数据清洗、模型训练等都需要 GPU卡,算力成本高昂。
解决方案
高性能分析引擎:使用EMR Ray代替原先脚本方式,效率提升4x以上。
资源用量监控:EMR Ray Dashboard可以帮助客户实时观察GPU资源使用率。
资源极致弹性:EMR提供了引擎级别的RayAutocale能力,和物理节点的弹性伸缩相结合,可以实现作业粒度的弹性伸缩。
技术架构收拢:EMR在火山所有Region均提供服务,柔佛和上海地域可以使用一套技术栈,即实现在海外通过EMRRay实现数据下载,又能在国内对下载回来后的数据实现预处理,降低了维护成本。

案例3
某自动驾驶公司
该客户是汽车科创公司,定位为智能网联车,希望通过人工智能、大数据让用户成为汽车价值链的核心驱动力。客户基于某友商自建开源大数据平台,主要支撑车联网信号数据的实时采集、加工以及客户服务、车型迭代、车辆销售等数据分析需求。
客户痛点
实时离线数据割裂:实时与离线数仓的数据无法联动,只能在报表末端级联,数据链路过长、计算效率低下,数据时效长达5min。
数据高度膨胀:存算一体的数仓架构无法承载由车端高频采集导致的数据膨胀,引发高昂资源&维护成本。
系统稳定性低:Hologres架构不合理,导致系统 QPS过高,进而降低服务的可用性、稳定性。
解决方案
实时湖仓一体架构:EMR StarRocks作为数据湖 OLAP引擎,能够以外表的形式与离线数仓级联,实现离线实时联邦查询。
存算分离实现降本增效:EMR采用存算分离的架构来应对高膨胀的增量数据,在保持计算性能SLA不变的同时,将维护成本降低至0。
OLAP&OLTP 分离:借助 DataSail分离了 OLAP不应承载的高QPS服务,保证了服务的可用性。
一站式大数据平台:火山多品联合,从数据实时集成DataSail → 湖仓一体计算EMR → 一站式数据开发治理DataLeap → 数据智能分析洞察,构建数智化一体化的大数据全链路,提高整体业务效率。

案例4
某广告营销公司
该客户是一家专注于移动互联网整合营销服务的公司,公司成立于2017年4月,主站及大数据业务部署在友商上。客户基于 EMR和传统数据库等做业务分析,支撑上游的广告营销业务,包括广告投放分析、流量分析、效果监测、业务决策等场景。
客户痛点
实时能力缺失:底层缺少实时技术与架构,无法构建实时数据链路,导致业务报表无法看到实时数据,时效性仅达到T+1水平。
缺少OLAP引擎:原先使用MySQL做数据分析,面对数据量大、多维查询分析时,显露性能瓶颈,无法支撑业务决策速度。
实时、离线数据割裂:准实时数据与离线数据的逻辑异构,影响数据一致性,改造成本极高,数据风险较大。
解决方案
低人力、低成本搬站:引入火山引擎BP团队来实施搬站方案结合火山搬站工具与方案,仅仅投入2个非全职人力,就实现了无感迁移,并通过实时策略,绕开了友商的数据直接传输,节约了36.8万的出网成本。
T+1->实时的时效跨越:凭借数据湖流批一体特性,保证了实时&离线数据一致性,增加广告投放的准确性;从小时级别跃迁到秒级别,提高投放决策实时性;实时数据上线周期从天级别缩短成小时级别,提升实时开发效率。
流批一体的数据湖架构:帮助客户升级架构,实时表与离线表一体化管理元数据,全局一套逻辑,可以在Spark/StarRocks进行同数据同逻辑计算。

案例5
某游戏公司
客户成立于2009年,总部位于上海,是一家全球化的游戏研发与发行公司,主营业务包括网络游戏的研发、发行与运营,成功推出了包括多款全球知名的游戏产品。
客户痛点
大数据系统组件多、运维成本高:客户在IDC使用CDH,涉及多个开源组件如Spark/Presto/Kafka等,数据来源多,如APP应用、数据库等,日常组件和数据链路维护成本高。
无法做联邦查询:开源原生行为,Spark无法对HDFS和StarRocks内表数据做联邦查询,需要同步多份数据,导致数据冗余,且需要维护额外数据同步链路。
交互查询性能差:客户使用Presto做Adhoc查询,性能较差,不满足数据分析师对查询响应时间的要求。
解决方案
Serverless提供全托管服务,释放用户人力:采用EMRServerless Presto和StarRocks,用户无需感知和维护底层基础设施,大数据团队仅需关注大数据任务本身。
自研加速引擎比开源性能提升1.5倍:自研向量化计算加速引擎 Bolt,使得Presto运行效率大大提升。
湖仓一体,Spark可直读直写StarRocks:与开源引擎相比,火山EMR增强了Spark和StarRocks的互访,Spark可以直接读写StarRocks,减少了不必要的数据冗余和数据同步链路搭建。
存算分离架构,提供极致弹性、实现低存储成本:上云后,采用EMR存算分离架构,数据存储到对象存储TOS上,通过数据湖冷热分层能力,可以大幅降低存储成本。




