博睿宏远分布式文件存储系统_分布式系统-云巴巴 -云巴巴

立即咨询

立即试用

商务合作

博睿宏远分布式文件存储系统

Bonree BRFS是一个分布式文件系统，支持海量文件（大文件及小文件快照、图片、语音等）存储，它具有高可用、高性能、易扩展等特性。

立即咨询

Bonree BRFS

Bonree BRFS是一个分布式文件系统，支持海量文件（大文件及小文件快照、图片、语音等）存储，它具有高可用、高性能、易扩展等特性。Bonree BRFS对存储的文件格式没有限制和要求，任何格式的文件都会以byte字节流的方式进行存储。此系统功能不仅包含了现有其他开源产品具备的权限控制、数据增删读、多副本备份、数据检验等基础功能，同时我们还设计了独特且高效的副本自动迁移和平衡策略、多应用数据隔离且独立配置、自定义文件名、系统资源管理插件、集群状态可视化监控与报警等功能。

一般来说，一个Bonree BRFS系统包含如下三个部分：

FS_Server.jar

在集群每个节点上运行的核心服务模块。在模块运行时会启动若干ReginNode(管理节点)和DataNode（数据节点）进程来提供服务。其中ReginNode进程主要职责是管理存储域元信息、管理数据节点、把用户数据分配到不同的数据节点上进行处理；DataNode进程主要职责是用户数据文件的写入和读取、副本自动平衡恢复、执行定时任务（副本数校验、CRC校验、数据删除、数据归并）执行等。

server.properties.example

用于后台服务运行时所有的关键控制参数的默认值配置，如果想变更参数值，可以复制一个名为server.properties的文件，并把需要修改的属性和值添加到此文件中即可，程序运行时server.properties文件中的配置的参数值会覆盖server.properties.example文件中参数的默认值。
同时，用户如需调用Bonree BRFS服务，则需要在工程中引入FS_Client.jar，并在代码中调用相关的接口对Bonree BRFS系统进行操作； Bonree BRFS分布式文件系统接收的数据形式可以是快照、图片或者任何以byte数组方式进行存储的数据文件。

FS_ResouceManager.jar

系统资源管理模块，用于实时收集和监控集群各节点资源负载情况，以支持系统可根据节点负载情况分配资源，解决各节点资源利用和负载不均衡问题。Bonree BRFS系统内部默认提供了一组资源管理的策略，主要包含CPU、内存、I/O、磁盘容量等负载指标。目前此模块采用可热插拔的设计方式，但如果用户有特殊需求，可自定义此插件，自行实现集群资源的分配和管理。

Bonree BRFS高性能

集群规模

由2台物理机器组成集群，数据保存一副本

单台配置

CPU4核、内存16G、磁盘STAT盘 4T 7.2K

网络

千兆网卡

压测结果指标

QPS、CPU、MEMORY、IO

目标文件

随机生成1KB数据文件

压测方式

分别使用 1个/2个/3个 JMeter客户端对Bonree BRFS进行压测，每个JMeter客户端开启50个并发线程；分别使用 1个/2个/8个 JMeter客户端对Bonree BRFS进行压测，每个JMeter客户端开启50个并发线程；

写入性能

1个JMeter: qps:7541; cpu:59%; 内存:21%; IO:53%; 吞吐量:9MB; 2个JMeter: qps:12216; cpu:66%; 内存:26%; IO:53%; 吞吐量:15MB; 3个JMeter: qps:15767; cpu:72%; 内存:33%; IO:53%; 吞吐量:19MB。

读取性能

1个JMeter: qps:13295; cpu:21%; 内存:19%; IO:3% 吞吐量:7MB; 2个JMeter: qps:40729; cpu:61%; 内存:19%; IO:5% 吞吐量:20MB; 8个JMeter: qps:96000; cpu:80%; 内存:25%; IO:5% 吞吐量:50MB。

系统架构

Bonree BRFS由RegionNode和DataNode组成
●　RegionNode主要负责数据的接收写入、查询及副本管理，当客户端将数据写入RegionNode后，它会进行将数据进行节点分配，然后发送给DataNode进行数据写入。当用户查询数据时，它会根据文件ID去找对应的DataNode查询文件返回给用户。当机器故障时，它会生成副本迁移任务放在zookkeeper上，DataNode会根据任务执行数据迁移。
●　DataNode主要负责数据存储及查询，当它接收到数据后，会将数据存储在本地文件。当RegionNode发送文件查询请求时，他会查询对应的文件数据返回给RegionNode。

产品价值

文件存储采用写时合并机制，帮助客户解决环境IO瓶颈的问题

文件副本自动平衡恢复，帮助客户解决数据的安全性的问题

硬件资源负载管理，帮助客户解决集群资源使用热点的问题

引入应用分区的概念，帮助客户解决不同业务数据个性化处理的问题

集群横向扩容，帮助客户解决集群扩容不方便的问题

产品推荐

中博龙辉多功能移动充电机器人

中博龙辉多功能移动充电机器人作为前沿的智能移动充电机器人，它能灵活穿梭于商场、停车场等场所。集新能源智能充电设备优势，适配多种电子设备，随叫随到，快速补能，解决人们充电难题，为出行与生活带来全新便捷体验

免费试用

查看详情

清博智能融媒体AI+大数据系统

清博智能融媒体AI+大数据系统，支持人脸、语音、OCR、物体场景识别和智能拆条等功能，帮助用户快速处理素材，提高生产效率。统一内容编辑发布平台，支持一键分发多平台渠道，全流程管控内容信息流的采编、发布及传播。

免费试用

查看详情

Realibox数字化资产库应用解决方案

Realibox 数字化资产库应用解决方案，聚焦材料、颜色、部件等基础元素构建，沉淀核心数字化资产，保障品牌设计统一性。通过精细化权限管控筑牢数据安全防线，支持云端协作与资产复用，降低打样成本、提升设计效率，是企业数字化资产全生命周期管理的优选方案。

免费试用

查看详情

KAWO科握域见GEO优化解决方案

KAWO 科握域见 GEO 优化解决方案，专注 AI 生成式引擎品牌舆情与排名优化。可实时追踪 Deepseek、豆包等主流 AI 平台品牌提及率、情感倾向及关键词排名，智能触发负面风险预警。可视化呈现负面提及来源与传播趋势，对标竞品 AI 舆情表现精准定位隐患；还能依托监测数据自动生成优质提示词，引导 AI 输出正面品牌内容，全方位筑牢品牌 AI 舆情口碑防线。

免费试用

查看详情