立即咨询

电话咨询

微信咨询

立即试用
商务合作

博睿宏远分布式文件存储系统

Bonree BRFS是一个分布式文件系统,支持海量文件(大文件及小文件快照、图片、语音等)存储,它具有高可用、高性能、易扩展等特性。
立即咨询
Bonree BRFS

Bonree BRFS是一个分布式文件系统,支持海量文件(大文件及小文件快照、图片、语音等)存储,它具有高可用、高性能、易扩展等特性。Bonree BRFS对存储的文件格式没有限制和要求,任何格式的文件都会以byte字节流的方式进行存储。此系统功能不仅包含了现有其他开源产品具备的权限控制、数据增删读、多副本备份、数据检验等基础功能,同时我们还设计了独特且高效的副本自动迁移和平衡策略、多应用数据隔离且独立配置、自定义文件名、系统资源管理插件、集群状态可视化监控与报警等功能。

一般来说,一个Bonree BRFS系统包含如下三个部分:

FS_Server.jar
在集群每个节点上运行的核心服务模块。在模块运行时会启动若干ReginNode(管理节点)和DataNode(数据节点)进程来提供服务。其中ReginNode进程主要职责是管理存储域元信息、管理数据节点、把用户数据分配到不同的数据节点上进行处理;DataNode进程主要职责是用户数据文件的写入和读取、副本自动平衡恢复、执行定时任务(副本数校验、CRC校验、数据删除、数据归并)执行等。
server.properties.example
用于后台服务运行时所有的关键控制参数的默认值配置,如果想变更参数值,可以复制一个名为server.properties的文件,并把需要修改的属性和值添加到此文件中即可,程序运行时server.properties文件中的配置的参数值会覆盖server.properties.example文件中参数的默认值。
同时,用户如需调用Bonree BRFS服务,则需要在工程中引入FS_Client.jar,并在代码中调用相关的接口对Bonree BRFS系统进行操作; Bonree BRFS分布式文件系统接收的数据形式可以是快照、图片或者任何以byte数组方式进行存储的数据文件。
FS_ResouceManager.jar
系统资源管理模块,用于实时收集和监控集群各节点资源负载情况,以支持系统可根据节点负载情况分配资源,解决各节点资源利用和负载不均衡问题。Bonree BRFS系统内部默认提供了一组资源管理的策略,主要包含CPU、内存、I/O、磁盘容量等负载指标。目前此模块采用可热插拔的设计方式,但如果用户有特殊需求,可自定义此插件,自行实现集群资源的分配和管理。
Bonree BRFS高性能
集群规模

由2台物理机器组成集群,数据保存一副本

单台配置

CPU4核、内存16G、磁盘STAT盘 4T 7.2K

网络

千兆网卡

压测结果指标

QPS、CPU、MEMORY、IO

目标文件

随机生成1KB数据文件

压测方式

分别使用 1个/2个/3个 JMeter客户端对Bonree BRFS进行压测,每个JMeter客户端开启50个并发线程; 分别使用 1个/2个/8个 JMeter客户端对Bonree BRFS进行压测,每个JMeter客户端开启50个并发线程;

写入性能

1个JMeter: qps:7541; cpu:59%; 内存:21%; IO:53%; 吞吐量:9MB; 2个JMeter: qps:12216; cpu:66%; 内存:26%; IO:53%; 吞吐量:15MB; 3个JMeter: qps:15767; cpu:72%; 内存:33%; IO:53%; 吞吐量:19MB。

读取性能

1个JMeter: qps:13295; cpu:21%; 内存:19%; IO:3% 吞吐量:7MB; 2个JMeter: qps:40729; cpu:61%; 内存:19%; IO:5% 吞吐量:20MB; 8个JMeter: qps:96000; cpu:80%; 内存:25%; IO:5% 吞吐量:50MB。

系统架构
 
Bonree BRFS由RegionNode和DataNode组成
● RegionNode主要负责数据的接收写入、查询及副本管理,当客户端将数据写入RegionNode后,它会进行将数据进行节点分配,然后发送给DataNode进行数据写入。当用户查询数据时,它会根据文件ID去找对应的DataNode查询文件返回给用户。当机器故障时,它会生成副本迁移任务放在zookkeeper上,DataNode会根据任务执行数据迁移。
● DataNode主要负责数据存储及查询,当它接收到数据后,会将数据存储在本地文件。当RegionNode发送文件查询请求时,他会查询对应的文件数据返回给RegionNode。
产品价值
01

文件存储采用写时合并机制,帮助客户解决环境IO瓶颈的问题

02

文件副本自动平衡恢复,帮助客户解决数据的安全性的问题

03

硬件资源负载管理,帮助客户解决集群资源使用热点的问题

04

引入应用分区的概念,帮助客户解决不同业务数据个性化处理的问题

05

集群横向扩容,帮助客户解决集群扩容不方便的问题

产品推荐

思必驰手机音频解决方案
思必驰手机音频解决方案可以盲人/聋哑人应用、智能场景识别、自定义唤醒、语音解锁密码、与可穿戴设备联动、全双工人机对话、语音转文本、方言与翻译、语音+图像识物,以及不再拘束于唤醒词,提供更自然的语音交互能力。在我们的日常生活中,不会和别人说话时每说一句话就叫对方名字一次,全局生效或者在应用内生效,如拍照摄影、游戏控制、音乐播控。
免费试用
查看详情
瑞驰NxSDS全融合分布式存储管理平台
瑞驰NxSDS全融合分布式存储管理平台将硬件划分两个或多个逻辑区域,让数据副本、计算业务等按安全隔离逻辑分在不同硬件域(同一服务器上的不同硬盘可以属于不同的故障域,一个存储池中的硬盘故障不影响其它存储池内的状态),在多种不可抗力意外发生时,系统仍能保持数据不丢失、业务连续可用。多资源池隔离,不同资源池设置不同冗余级别,保障部分业务独享优质硬件资源;硬盘级、节点级、机柜级故障域,降低硬件故障对业务的影响;并行数据重建,1TB数据恢复时间30min以内,是传统RAID数十倍,降低数据丢失风险;高性能快照保护,有效避免“软故障”灾难。
免费试用
查看详情
小元感知智慧滑雪场安防解决方案
小元感知智慧滑雪场安防解决方案拥有“全景+任意细节”回放,能够对大场景态势感知,达到全局与细节兼顾的完美监控效果。实现不同厂家,不同算法的接入与共存,以及算法与视频音频接入高可扩展性,为业务层实现分析检测场景扩展提供数据支撑。
免费试用
查看详情
腾讯Tapd研发项目管理平台
TAPD是源自于腾讯的敏捷产品研发协作平台,提供贯穿敏捷开发生命周期的一站式服务。覆盖从产品概念形成、产品规划、需求分析、项目规划和跟踪、质量测试到构建发布、用户反馈跟踪的产品研发全过程,提供了灵活的可定制化应用和强大的集成能力,帮助研发团队有效地管理需求、资源、进度和质量,规范和改进产品研发过程,提高研发效率和产品质量。
免费试用
查看详情