火山引擎云原生开源大数据平台 E-MapReduce
立即咨询
首页
多种端侧安全响应能力，用户可灵活选择兼容开源而优于开源：100% 兼容完整的大数据开源生态，深度云原生优化和性能增强。
01 存算分离：透明加速
透明加速技术，性能追平存算一体，成本降低20%。
02 冷热分层：成本再优化
冷数据转存，降低存储成本；自动冷热诊断，提供优化建议。
03 弹性伸缩：按需使用
业内领先的弹性性能，2分钟可稳定弹出过百节点；支持按时间、负载、混合策略。
04 全托管的元数据服务
免费的全托管HMS服务，完全开源兼容，多集群多组件统一元数据中心。
05 全托管的History服务
免费全托管，无需绑定公网 IP，Stateless化，集群释放后仍然可以访问。
06 持久化的配置中心
持久化集群配置、服务参数等，Stateless化，集群释放后可原样恢复。
EMR Stateless：重新定义云原生开源大数据平台何为EMR Stateless？
外置EMR集群的状态元素，如用户数据、元数据、用户/权限/审计数据、服务/任务日志、集群模版、弹性规则、监控指标数据、状态Server等，让长运行集群变成轻量级瞬态集群，从创建集群等待任务运行，到任务的开始和结束触发集群的创建和释放，从而获得更好的弹性、扩展性、安全性，让数据平台架构有更好的演进成长能力和最佳的成本优化。
EMR Stateless 核心价值：成本最优，更专注数据业务
业内先进的弹性伸缩性能，支持时间、负载、混合等丰富的弹性策略EMR集群支持按时间规则与集群负载弹Task节点，两种策略可搭配使用；存算分离模式下，EMR集群可以作为无状态服务，弹Core+Task节点，甚至整个集群为弹性粒度进行数据分析工作，成本更优。
Time-Based：基于时间规则
指定时间段进行弹性扩缩容，支持执行一次或重复执行，提供扩缩容重试和冷却机制。基于时间规则是简单实用的弹性策略。
Load-Based：基于集群负载
按集群负载情况进行弹性扩缩容，如当YARN的运行指标大于设定的某个值时，触发弹性扩容。基于集群负载弹性可最大程度提升资源利用。
先进存算分离架构，配合数据湖加速引警，冷热数据自动诊断，分层存储
EMR状态服务与数据外置
· 日志存储TOS：服务组件的运行日志和计算任务运行日志支持存储至TOS。
· Hlstory Server：通过EMR公共的HistoryServer回放组件的任务运行过程。
· 对接云监控：集群服务组件的指标接入云监控，集群释放后指标不丢失。
· 集群创建模板：保存模版至配置中心，可使用模板一键创建集群。
· 元数据外査存储：集群权用户及限元数据，Hive元数据可存储之外置RDS；支持DLF。
· 日志存储TOS：服务组件的运行日志和计算任务运行日志支持存储至TOS。
· Hlstory Server：通过EMR公共的HistoryServer回放组件的任务运行过程。
· 对接云监控：集群服务组件的指标接入云监控，集群释放后指标不丢失。
· 集群创建模板：保存模版至配置中心，可使用模板一键创建集群。
· 元数据外査存储：集群权用户及限元数据，Hive元数据可存储之外置RDS；支持DLF。
大数据文件系统CloudFS
· 兼容HDFS接口：支持Rename、Move语义，无缝对接EMR计算组件。
· 元数据缓存加速：提供高性能的元数据缓存与操作层次化的目录树。
· 高效数据加速：高速云盘缓存热数据，根据数据访问热度实现多级缓存流动。
· 兼容HDFS接口：支持Rename、Move语义，无缝对接EMR计算组件。
· 元数据缓存加速：提供高性能的元数据缓存与操作层次化的目录树。
· 高效数据加速：高速云盘缓存热数据，根据数据访问热度实现多级缓存流动。
一站式云托管，精细化的集群运维与监控告警能力，支持丰富的组件操作一站式云托管，帮助用户轻松构建云上企业级大数据平台，降低运维门槛，助力企业快速形成大数据分析能力。
集群管理
快速创建集群，分钟级发放；
支持按量付费与包年包月。
支持按量付费与包年包月。
服务管理
服务组件各项指标呈现；
支持多种服务个性化操作。
支持多种服务个性化操作。
节点管理
节点组扩缩容，磁盘扩容、支持节点组弹性伸缩。
引导操作
按需执行自定义操作；
按需安装第三方软件包。
日志中心
服务组件日志的针对性展现与搜索，操作日志管理。
配置中心
保存集群创建模版与数据库连接信息，快速创建集群。
用户权限
统一 IAM与LDAP用户管理增强集群RBAC权限模型。
弹性伸缩
按时间规则弹性按集群负载弹性。
企业级安全管理，火山引擎IAM+Kerberos认证，Ranger权限管理进不来 → 逃不掉 → 拿不走 → 看不懂。
· 支持导入IAM用户，各组件统一认证，避免外部用户登录集群。
· 安全管控服务支持高可用，避免单点故障，确保权限控制永远在线。
· 安全管控服务支持高可用，避免单点故障，确保权限控制永远在线。
· 增强RBAC模型授权，提供可视化管理界面，数据安全管控简单、高效。
· 协同火山引擎安全体系，VPC强隔离、授权运维、集群状态数据合规获取。
· 支持Kerberos强认证模式，满足高安全要求的业务场景。
· 审计日志与访问审计，确保每一次请求的可追溯，保障隐私数据访问安全。
· 审计日志与访问审计，确保每一次请求的可追溯，保障隐私数据访问安全。
火山EMR与自建集群对比优势
EMIR 产品优势与面向场景产品优势：云原生存算分离架构，冷热分层，按需弹性，大幅降低成本，完整开源生态；
服务优势：大数据搬迁原厂技术专家支持，提供业界领先的数据BP团队咨询服务。
产品推荐
中航北斗车辆油耗管理解决方案，整合油位传感器、车辆防偷油漏油管理系统及怠速油耗监测系统功能。实时采集油位数据、精准识别偷油漏油行为、监测怠速油耗，助力企业管控车辆用油成本，提升油耗管理效率与运输运营效益。
信安世纪统一身份认证管理系统（NetAuth），集成SSO单点登录与身份治理功能，实现企业用户身份统一管理、跨系统一键登录。支持精细化身份权限管控与全生命周期治理，简化登录流程的同时强化安全防护，助力企业提升身份管理效率，满足合规要求。
美迪索科智慧工厂物联网定位解决方案，基于物联网、人工智能、云计算、GIS等领域长期积累的实践经验，围绕工厂安全生产流程管理过程，打造智能化、数据化、图形化、信息化管理平台，有效帮助企业实现生产安全管理，提高对工厂内部员工、外来访客的管理水平，实现智能化管理机制。
欢拓云课堂教培私域直播系统，整合线上教学直播与视频互动直播功能。提供教培场景专属直播、实时师生互动及课程内容管理，集成私域引流、数据统计，适配教培机构线上教学全流程。是教培直播优选系统。
数字化社区
视频
文章
