
“人工智能时代”到来,带来数据存储的挑战

魔壶MOHU Store构建统一共享存储池

魔壶MOHU Store集群存储系统
一存储池兼容多芯片、一存储池支持多存储协议。

魔壶MOHU Store集群存储系列,打造安全高效的数据存储底座

分布式存储架构,聚合性能随规模扩大线性增长
大规模:单套存储系统支持4096台存储节点、上万台客户端;
大容量:单一文件系统可在线从TB扩展到EB,存储千亿文件;
高可靠:全局纠删码,存储空间利用率可达90%
高性能:可扩展至TB/s读写带宽、千万级IOPS。

并发数据读写,提升集群并发能力

优化的LeoFS POSIX客户端协议,性能大幅优于通用协议

优化的LeoFS POSIX客户端协议,性能大幅优于通用协议

采用RDMA技术,降低读写延迟,提升聚合性能
支持RDMA,降低网络堆栈层的资源消耗,降低延迟,提升性能:
测试数据:单存储节点,配置200Gbps、四块NVME-SSD,文件系统聚合读可达到17.4GB/S;
单块NVME(IntelP5510)4.35GB/s、单块机械盘 150MB/S;
随着硬盘数量增多,聚合性能近线性增长。

按需在线扩容和数据均衡,充分释放集群性能
数据自动迁移实现均衡,迁移进程可随时停止和继续,直到迁移完毕;
硬盘之间利用率差距不超过3%,数据均衡分布,充分发挥硬件性能。

小文件聚合存储和传输,提供更高的小文件存储效率
多元数据服务器集群技术:支持动态扩展元数据节点,存储千亿级文件;
小文件NEST聚合技术:聚合存储、传输。

高可靠:同时支持多副本和纠删码,消除节点级别故障
支持纠删码N+M和多副本:支持为目录设置不同的数据保护冗余,支持在线修改冗余等级;
数据修复速度快:每TB数据修复时间不超过30分钟;
按需配置节点之间的冗余容错保护,也支持存储节点内部硬盘间数据冗余保护。

权限控制:高于操作系统以上的权限控制,为底层数据安全兜底
· 7种权限灵活设置,共127种权限组合;
· 存储直接校验底层数据访问权限,即使对操作系统有完全控制权限,仍然无法直接访问底层数据;
· 权限控制可根据IP或用户进行控制;
· 支持对象存储中的桶策略,可与用户权限配合使用。

快照:基于ROW的可写快照,数量无上限

备份归档:按需构建高性价比、高密度二级存储平台
魔壶MOHU Sync统一管理存储系统之间数据的动态迁移备份;
业务按需通过文件、对象、WEB等方式访问各级存储中的数据;
按需配置类似一次写多次读(WORM)等数据保护权限。

灵活的数据冗余配比:整体空间利用率可高达94.1%

灵活的数据冗余配比:整体空间利用率可高达94.1%

灵活的互通共享:非结构化数据之间协议融合互通访问

灵活部署:单存储节点构建高性能、高密度NAS存储系统

灵活部署:按需选择起配规模和硬件芯片架构
灵活的分级存储:根据业务需求对不同存储介质进行分组提供服务

灵活的存算融合:统一管理、按需迁移
统一:多个存储池可实现统一管理监控、资源调度;
灵活:数据按指定策略在不同存储池之间动态迁移;
融合:LeoFS消耗资源少,对于GPU、CPU计算影响小;
安全:存储池按需配置纠删码和副本冗余,消除单点故障;
性能:NVME、RDMA性能优化,小文件存储性能优化。

兼容并蓄:一存储池多芯片架构,平滑切入国产自主领域
支持X86和国产芯片设备混合部署,构建统一存储池;
支持跨操作系统平台的原生客户端共享。

兼容并蓄:支持更多的应用场景

简易管理:统一管理监控平台,运维轻松方便

互联网行业:满足超高吞吐、海量小文件存储需求
互联网平台:互联网数据存储平台主要支撑海量小文件以及CDN业务,主要业务特点是数据量快速增长,且单目录文件数量过高。
目前应用情况:
· 379台存储节点、16台元数据节点
· 单目录存储超过2亿文件
· 整个文件系统支持千亿级小文件存储。

广播电视台非编存储案例和性能

易点极客十五年如一日,专注分布式存储系统研发与服务




