立即咨询

电话咨询

微信咨询

立即试用
商务合作

火山引擎云原生开源大数据平台E-MapReduce

火山引擎云原生开源大数据平台E-MapReduce,提供丰富的增强型大数据组件,100%兼容开源,具备极致弹性资源、存算分离架构,覆盖迁移上云、湖仓分析、多模数据处理、AI应用等场景,加速AI业务落地,激发数据价值。
立即咨询
iconE - MapReduceicon

AI 时代开源大数据平台,提供丰富的增强型大数据组件,100%兼容开源,具备极致弹性资源、存算分离架构,覆盖迁移上云、湖仓分析、多模数据处理、AI应用等场景,加速AI业务落地,激发数据价值。

EMR Serverless
全托管形态Spark、Presto、Ray,标品免运维,适合快速落地大模型/大数据的客户。
EMR on ECS
基准产品形态,适合IDC搬站客户以及技术
能力较强客户。
EMR on VKE
容器形态,适合离在线混合部署形态,适合有容器诉求以及追求离在线混部用户。

 

icon火山引擎EMR产品设计理念icon

开箱即用
-进得来-
提供开机即用的体验,预集成了大数据主流组件工具,并持续迭代升级。
成本优化
-用的省-
通过全托管、弹性伸缩、冷存归档等架构降本手段,结合预约按量付费实例等计费优化特色,
持续迭代数据湖成本优化方案。
开源兼容
-出得去-
数据湖组件与开源组件保持100%一致,不Lockin客户,客户无需担忧被锁住
极致性能
-算的快-
优化AI计算引擎/大数据计算引擎的内核、
计算链路,对比开源全面实质性提效。
轻量运维
-管得住-
提供丰富的运维工具,Web交互化,大大降低运维门槛与投入,释放人力到核心业务中
AI原生性
-做得强-
专为多模态数据设计的新一代数据湖,与AI混合大数据协同发展,兼容大模型业务场景。

 

icon火山引擎EMR产品架构图icon

 

 

iconEMR大数据软件栈 3.xicon

 

 

iconEMR大数据软件栈 2.xicon
 

 

icon火山引擎 EMR产品特性icon
开源生态组件
集成Hadoop、Flink、Hive、Kafka、Hudi、lceberg.StarRocks、Doris等大数据全栈组件,完全兼容开源,并基于字节跳动内部实践持续优化,Spark优化2.5倍+,Presto 优化4.8倍+。
存算分离架构
存储与计算解耦,可按需独立扩展与优化,资源灵活配比,提高资源利用率和系统性能;统一数据湖,支持多种计算引擎,自研湖加速引擎Proton,性能超过存算一体,成本降低30%+。
弹性伸缩能力
基于时间规则、集群负载、混合规则的弹性伸缩策略,支持节点级、容器级、作业级弹性,提供丰富的弹性资源,如:抢占式实例、预约实例等,灵活满足业务波峰波谷资源需求,极致降本。
湖·仓·AI一体化
LASCatalog提供湖、仓、Al一体化的元数据管理,数据统一存储、透明访问,多产品形态、多负载类型可联邦分析,支持湖仓分析、大模型数据预处理统一K8S资源池调度,提升资源利用率。
超大规模生产实践
单集群支持10万核以上 (可跨AZ部署),可单次扩容1000节点,完备的容灾能力。EMRSpark达到10EB级处理量,日均Shuffle量超过400PB,EMRPresto日均百万次查询,秒级查询响应。
云原生运维
一站式云托管,提供集群管理、服务管理、用户管理、监控告警日志查询等能力;支持服务监控指标体系,企业级诊断能力,感知集群组件及任务的运行异常状况,降低运维门槛。
企业级数据安全
支持Kerberos和AM双认证模式、RBAC模式、审计日志等,具备数据加密、数据隔离、细颗粒度访问控制等能力,协同火山引擎安全体系,提供高可用、全方位的安全管控服务。
云上生态融合
无缝对接火山引擎各类云上产品,如:大数据研发治理套件DataLeap、对象存储TOS、智能数据洞察DataWind等,为客户提供专业高效、安全可靠的一站式产品体验,全链路支撑多样业务场景。
icon火山引擎 EMR 核心优势icon
大幅降低成本 40%+
火山引擎独有的内外潮汐资源机房
存算分离架构,冷热分层存储
弹性伸缩能力,多负载混用资源。
专业迁移方案 丝滑快速
为客户定制化整套搬站方案
提供丰富自动化迁移工具和产品
过程可视化监控,确保迁移丝滑。
组件性能优化3~5倍
行业超大数据体量深度实践
兼容开源,内外持续反哺增强
自研向量化执行引擎Bol加速
运维极致提效 极简高效
高效的集群管理、运维工具
可视化、自定义的监控告警能力
企业级诊断、快速排障解决。
全面Serverless 开放透明
全托管模式,100%兼容开源
开放架构,自定义镜像,自由创新
默认透明对象存储,不绑数据。

 

icon火山引擎EMR产品优势icon
01、性能增强
计算引擎(算)
基于开源 Spark、Presto自研计算加速引擎EMR Bolt,性能提升2~5倍。
比其他友商,更早发布多模态计算引擎EMR Ray 服务,相比开源大幅提升弹性和稳定性。
透明加速(转)
自研存储加速组件EMR Proton,,性能与本地 HDFS持平/一致,大大领先友商25% (友商低于本地HDFS20%)
存储优化(存)
自研新一代存储-分层桶(HNS),读写性能提高至少99%,并贡献给开源社区,国内仅2家云厂商应用该技术 (火山云和华为云)。
02、兼容性
无缝迁移友商EMR体系,搬站快速且丝滑
大数据组件版本领先、数据迁移确保一致性
03、开放性
兼容开源,优于开源,不锁住客户
组件100%兼容开源、组件服务保持原汁原味、存储客户端主动开源
04、极致降本
充足的算力,灵活的计费,降本一步到位
独家&灵活的计费方式、超大规模潮汐算力资源
05、专业服务
全流程管家式服务,快速构建,服务无忧
售前提供权威专家咨询、售中实施团队全程驻场、售后客户成功团队支撑

 

iconEMR应用场景(1/6):数据预处理icon
场景描述
· 海量文本、图片、视频等非结构化数据
· 需要大量算力,可能会使用 GPU
 
常见痛点
存储语义不一致
读写对象存储上的数据,涉及文件语义和对象语义的转换。
任务处理效率低
任务运行时对TOS读写带宽要求极高,带宽不足会导致任务排队,降低了任务处理速度,通常是单次处理任务规模上限的瓶颈所在。
海量文件处理
涉及海量的文件,存在百万Spark Partition Shuffle需求,远超传统离线数仓的要求,开源组件不满足。
成本压力大
底层资源消耗大,成本压力大,寻求降本增效方案。

· EMR增强Ray引擎特性,通过任务级别的弹性伸缩,减少固定资源消耗,大幅降
低资源成本。
· EMR Proton SDK解决文件语义和对象语义转换问题,性能大幅提升,另外
PyProton适配LLM算法工程师的研发习惯,而且EMR Proton 可大幅降低对象存储
带宽瓶颈。
· EMR 集成开源增强的Celeborn组件,支持Remote Shuffle Service能力,可达五
百万Spark Partition Shuffle,效率大大提升,业内Top水平。

 

iconEMR应用场景(2/6):大数据迁移上云icon

场景介绍
火山引擎EMR 具备平迁能力,提供自动化迁移和监控工具,提高效率、降低复杂度,针对开源组件版本滞后、技术栈复杂等问题,快速构建高性能、低成本大数据平台。

 
架构优势
迁移简单快速
多种方案、丰富工具,业务无中断,快速丝滑迁移
 
完全兼容开源
100%兼容开源生态,组件能力企业级增强、版本常新
 
技术架构升级
云原生架构升级,实现存算分离、灵活弹性伸缩

推荐产品
大数据研发治理套件 DataLeap、全域数据集成 DataSail、对象存储TOS

 

iconEMR应用场景(3/6):云原生数据湖仓icon

场景介绍
随着企业发展,数据规模庞大、结构复杂、引擎众多、分析复杂,传统架构难以支撑,火山引擎 EMR 湖仓方案满足低成本、统一数据存储&管理、多样分析场景等需求。

 
架构优势
存算分离&冷热分层
多种方案、丰富工具,业务无中断,快速丝滑迁移
对接多种引擎
支持实时、离线、交互查询等计算引擎,数据一致
元数据管理
统一元数据视图,跨源查询分析,数据自动发现

推荐产品
对象存储 TOS、元数据管理LAS Formation、
大数据研发治理套件 DataLeap

 

iconEMR应用场景(4/6):离线数据分析icon

场景介绍
构建以Hadoop为核心的企业级离线数仓,对多种类型数据做采集、清洗、转化,一个平台支持多种计算引擎,满足复杂业务分析需求,支撑企业智能分析高效决策。

 
架构优势
灵活的云上架构
云原生架构,资源弹性伸缩,灵活满足业务需求。
增强版开源组件
兼容开源深度优化,确保高可用、高稳定、高性能。
丰富的高阶运维
提供丰富多样的运维工具,自动告警,可视化界面。
 
推荐产品
大数据研发治理套件 DataLeap、全域数据集成 DataSail、智能数据洞察 DataWind

 

 

iconEMR应用场景(5/6):交互式分析icon

场景介绍
通过火山引擎EMR 对各类业务系统的结构化/非结构化数据进行加工和查询,支撑上层业务灵活且快速地进行数据分析、探索、预测,提高业务决策效率、组织响应速度。。

 
 
架构优势
极速查询
物化视图加速数据查询,极速调用数据、分析数据。
灵活查询
支持SQL 语句,灵活支持各类逻辑分析、复杂分析。
高效开发
提供集群管理、监控、扩容等能力,专注业务发展。
 
 
推荐产品
大数据研发治理套件 DataLeap、全域数据集成 DataSail、
智能数据洞察 DataWind

 

iconEMR应用场景(6/6):实时数据分析icon

场景介绍
火山引擎EMR 支持数据实时采集和流式处理分析、支撑十万级 QPS在线查询分析,达到实时数据展示和动作触发,满足实时性、高并发等场景,支撑实时计算及决策。

 
架构优势
实时计算
支持流式计算引擎,高吞吐、低延时,秒级响应
批流一体
一个平台实现数据集成、计算、分析、应用、存储
实时决策
支持loT、车联网、广告、风控、交易等实时业务
 
推荐产品
全域数据集成DataSail、流式计算Flink版、云数据库MySQL 版

 

icon案例1icon

国内头部某大模型公司
客户是成立于2023年的人工智能通用应用公司,主要面向C端市场。在技术上实现了包括深度解析庞大的代码库、实现多步骤复杂任务的智能自主处理等的终身助理,乃至开发真正统一架构的多模态模型等。

客户痛点
时效性要求高:数据规模大 (PB级别),时效要求高,需在业务规定时间内完成数据处理。
数据量庞大:数据处理吞吐量大,对对象存储网络带宽要求高。资源调用不固定:数据处理的资源需要非常灵活,不会按照Pipeline来做定时调度。
语义不一致:计算过程中常用Spark/Ray等分布式计算框架,但框架往往是采用文件语义,与数据存储的对象语义不一致。

解决方案
高性能:采用先进的分布式计算框架,能根据数据规模线性扩展计算规模,确保计算能力与数据量完美匹配,从而始终保持高效稳定的计算效率。同时,Spark/Ray与EMR分布式缓存Proton相互配合,完美实现了TOS的文件语义对接,有效降低了对象存储的带宽要求,减少了不必要的资源消耗。

灵活性强:用户能够根据具体的业务场景和分析需求,迅速调整分析环境在火山引擎 vke集群上灵活快速的添加EMR Spark/Ray等数据分析引擎,快速搭建起最适合当前任务的数据分析环境,极大地提高了数据分析的效率和质量,使整个数据处理流程更加敏捷和高效。

客户收益
资源降本30%+
通过复用CPU和GPU算力资源,实现了30%成本节省。

运维更高效
丰富的运维管控与简约的可视化界面,释放运维人力。

算力弹性&时效极强
大规模的算力灵活交付,算力规模线性增长,保证了大模型处理、清洗按时完成。

 

icon案例2icon

某AIGC文生图垂类公司
客户是一家年轻的生成式AI平台,成立于2021年。作为国内第一批入局AI生成领域的技术团队,致力于通过自研的算法、底层引擎、平台为个人用户和企业客户提供创意生产、广告、数字藏品等场景下的服务,仅成立一年时间就积累了可观的社区用户和商业客户。
客户痛点
数据获取难:高质量的数据集是模型训练的基石,需要可以高效便利的下载数据集。

数据处理慢:比如使用小模型给图片进行审美打分,当前用户使用 脚本分批执行,处理效率极低。
处理成本高:数据清洗、模型训练等都需要 GPU卡,算力成本高昂。
解决方案
高性能分析引擎:使用EMR Ray代替原先脚本方式,效率提升4x以上。

资源用量监控:EMR Ray Dashboard可以帮助客户实时观察GPU资源使用率。

资源极致弹性:EMR提供了引擎级别的RayAutocale能力,和物理节点的弹性伸缩相结合,可以实现作业粒度的弹性伸缩。

技术架构收拢:EMR在火山所有Region均提供服务,柔佛和上海地域可以使用一套技术栈,即实现在海外通过EMRRay实现数据下载,又能在国内对下载回来后的数据实现预处理,降低了维护成本。

客户收益
效率提升4倍+
数据清洗、打标等数据预处理任务的整体效率提升4倍以上。
资源降本30%+
弹性伸缩资源,减少闲置资源,提高GPU利用率,整体降本30%+。
运维降门槛&降人力
丰富的运维管控工具以及不同region共用一套技术栈,简化并减少运维工作。

 

 

icon案例3icon

某自动驾驶公司
该客户是汽车科创公司,定位为智能网联车,希望通过人工智能、大数据让用户成为汽车价值链的核心驱动力。客户基于某友商自建开源大数据平台,主要支撑车联网信号数据的实时采集、加工以及客户服务、车型迭代、车辆销售等数据分析需求。
客户痛点
实时离线数据割裂:实时与离线数仓的数据无法联动,只能在报表末端级联,数据链路过长、计算效率低下,数据时效长达5min。

数据高度膨胀:存算一体的数仓架构无法承载由车端高频采集导致的数据膨胀,引发高昂资源&维护成本。
系统稳定性低:Hologres架构不合理,导致系统 QPS过高,进而降低服务的可用性、稳定性。
解决方案
实时湖仓一体架构:EMR StarRocks作为数据湖 OLAP引擎,能够以外表的形式与离线数仓级联,实现离线实时联邦查询。

存算分离实现降本增效:EMR采用存算分离的架构来应对高膨胀的增量数据,在保持计算性能SLA不变的同时,将维护成本降低至0。

 OLAP&OLTP 分离:借助 DataSail分离了 OLAP不应承载的高QPS服务,保证了服务的可用性。

一站式大数据平台:火山多品联合,从数据实时集成DataSail  → 湖仓一体计算EMR  →  一站式数据开发治理DataLeap  →  数据智能分析洞察,构建数智化一体化的大数据全链路,提高整体业务效率。

客户收益
超过35%成本缩减
通过IDC上云以及存算分离架构、弹性伸缩和冷热分层能力,实现整体降本。
分钟->秒级时效跃迁
缩短了数据查询链路,在开发环节即可操作,提高业务用数效率。
可扩展的大数据底座
从存算一体切换到存算分离形态,新的大数据底座能极速扩展计算和存储资源。

 

icon案例4icon

某广告营销公司
该客户是一家专注于移动互联网整合营销服务的公司,公司成立于2017年4月,主站及大数据业务部署在友商上。客户基于 EMR和传统数据库等做业务分析,支撑上游的广告营销业务,包括广告投放分析、流量分析、效果监测、业务决策等场景。
客户痛点
实时能力缺失:底层缺少实时技术与架构,无法构建实时数据链路,导致业务报表无法看到实时数据,时效性仅达到T+1水平。

缺少OLAP引擎:原先使用MySQL做数据分析,面对数据量大、多维查询分析时,显露性能瓶颈,无法支撑业务决策速度。

实时、离线数据割裂:准实时数据与离线数据的逻辑异构,影响数据一致性,改造成本极高,数据风险较大。
解决方案
低人力、低成本搬站:引入火山引擎BP团队来实施搬站方案结合火山搬站工具与方案,仅仅投入2个非全职人力,就实现了无感迁移,并通过实时策略,绕开了友商的数据直接传输,节约了36.8万的出网成本。
T+1->实时的时效跨越:凭借数据湖流批一体特性,保证了实时&离线数据一致性,增加广告投放的准确性;从小时级别跃迁到秒级别,提高投放决策实时性;实时数据上线周期从天级别缩短成小时级别,提升实时开发效率。
 流批一体的数据湖架构:帮助客户升级架构,实时表与离线表一体化管理元数据,全局一套逻辑,可以在Spark/StarRocks进行同数据同逻辑计算。

客户收益
节省搬站成本36.8w
专业BP团队、高效搬站工具,定制化搬站方案,更快速,减少出网成本。
时效跃迁至实时
广告数据分析从小时级别跃迁到秒级别,提高投放决策实时性。
统一技术栈
离线链路与实时链路共用一套数据,计算引擎之间直读直写,统一技术架构。

 

icon案例5icon

某游戏公司
客户成立于2009年,总部位于上海,是一家全球化的游戏研发与发行公司,主营业务包括网络游戏的研发、发行与运营,成功推出了包括多款全球知名的游戏产品。
客户痛点
大数据系统组件多、运维成本高:客户在IDC使用CDH,涉及多个开源组件如Spark/Presto/Kafka等,数据来源多,如APP应用、数据库等,日常组件和数据链路维护成本高。
无法做联邦查询:开源原生行为,Spark无法对HDFS和StarRocks内表数据做联邦查询,需要同步多份数据,导致数据冗余,且需要维护额外数据同步链路。
交互查询性能差:客户使用Presto做Adhoc查询,性能较差,不满足数据分析师对查询响应时间的要求。
解决方案
Serverless提供全托管服务,释放用户人力:采用EMRServerless Presto和StarRocks,用户无需感知和维护底层基础设施,大数据团队仅需关注大数据任务本身。
 自研加速引擎比开源性能提升1.5倍:自研向量化计算加速引擎 Bolt,使得Presto运行效率大大提升。
湖仓一体,Spark可直读直写StarRocks:与开源引擎相比,火山EMR增强了Spark和StarRocks的互访,Spark可以直接读写StarRocks,减少了不必要的数据冗余和数据同步链路搭建。
存算分离架构,提供极致弹性、实现低存储成本:上云后,采用EMR存算分离架构,数据存储到对象存储TOS上,通过数据湖冷热分层能力,可以大幅降低存储成本。

客户收益
超过35%成本缩减
通过IDC上云以及存算分离架构、弹性伸缩和冷热分层能力,实现整体降本。
查询性能提升 1.5倍+
查询性能提升1.5倍以上,数据分析师获取结果数据的效率大幅提升。
运维复杂度大幅降低
EMR全托管形态,客户无需维护底层基础设施,达到一个免运维状态。

 

产品推荐

Meltwater融文媒体监测平台
融文提供一体化多元解决方案,其全面的媒体情报与社交分析功能,可助力企业实时监控、分析多元渠道的媒体数据并采取行动。服务涵盖媒体监测、社媒聆听与分析、社媒管理、媒体关系及数据集成,为品牌管理、竞品对标以及危机应对提供可视化的洞察。
免费试用
查看详情
汇元科技账户分账解决方案
分账系统是一个基于虚拟账户和订单支付体系的开放平台,能够为B2B2C/O2O平台型商户的供应链各类业务场景提供虚拟账户、支付产品和资金管理服务。助力企业全面提升资金管理效率,资金存管在央行或银行备付金账户,安全合规。
免费试用
查看详情
中睿天下APT高级持续威胁溯源方案
中睿天下APT高级持续威胁溯源方案以全流量检测与分析技术为核心,对外网、内网安全场景建模与跨网防护的流量检测溯源方案。通过基于白名单的资产访问关系梳理,基于攻击者视角自动绘制单一资产与跨网、跨域资产的访问行为,有效识别非法用户的合法使用问题。基于业务场景、访问关系与攻击行为建模,实现异常行为的自动化监测与预警。
免费试用
查看详情
吉客云智慧零售O2O系统
吉客云智慧零售O2O系统,将线下的商务机会与互联网结合,消费过程由线上和线下两部分组成,线上平台为消费者提供消费指南、优惠信息、便利服务和分享平台,线下商户则专注于提供服务。现在广泛现象为一家企业兼备网上商城及线下实体店,且两者品类、价格、优惠活动一致。
免费试用
查看详情