负载的平衡和分布式存储主要的实现思路

来源: 云巴巴 2022-11-21 10:56:35

 

    你知道负载的平衡和分布式存储主要的实现思路是什么吗?本文就来介绍一下。

    用户向集群提交数据块,系统在接收到数据后,按照预告设定的副本参数(默认为3)复制出若干副本;按照定义好的机架分配策略,把刚才生成的各个副本逐一分发到集群中;对于默认3个副本的情况,按照机架分配规则,其中两个需要放置于同一个机架上,但这两个副本分别处于该机架的不同节点上,另外一个副本则要求单独置于另一个机架上;启动一个定时任务,通过Name Node节点定时扫描所有节点,统计出整体负载分布情况;将集群当前负载状态与预设的阈值进行对比,并根据对比的结果对各节点的负载情况进行调整,从而实现负载均衡。

    不难看出,还保证了数据的可用性,这种负载均衡策略不仅可以保证数据的安全,在系统的可靠性和读写性能上也有很大的优势。通过该策略,可以进行实现各节点的负载信息动态发展平衡。当整个集群大规模,性能会名称节点节点提出了巨大的挑战,但这个策略并不完美,所以后者需要系统的大规模扩张具有一定的局限性。

    下面介绍一下有关术语:DFS拓扑(DFS topology):包括DFS管理控制台及其中的元素,一个分布式文件系统的整体逻辑层次,如根目录共享和副本集。DFS根(DFS root):在DFS拓扑的最顶层共享,DFS根能为基于域的操作系统在域一级定义。它是组成整个的DFS共享文件的开始点。基于域的DFS可在不同域中有多个根,但在进行一个企业服务器上只能有一个根。 根副本(根副本):服务器复制DFS根以提供更好的有效性。保存DFS根服务器假定分布参考以客户为共享文件夹的任务。并且创建有根副本,如果服务器不可用,则可以通过根副本所在服务器访问DFS空间。DFS链接:DFS拓扑的一部分,是DFS空间的特定内容。它被形成为一个或多个共享的连接到目录的。它通过把自己一个DNS名映射到企业目标信息共享资源文件夹的标准UNC来实现。 复制策略(replication policy):一旦建立到域DFS的链接,就可以为它创建一个副本。为了原始文件和复印件之间做出跟上时代的步伐,则需要配置复制策略。基于域的DFS根目录文件或者一个子目录都支持进行复制。不支持独立的DFS复制。

    以上,就是关于负载的平衡和分布式存储主要的实现思路简单介绍。

 

更多产品了解

欢迎扫码加入云巴巴企业数字化交流服务群

产品交流、问题咨询、专业测评

都在这里!

 

评论列表

为你推荐

云存储的主要应用产品都有哪些(一)

云存储的主要应用产品都有哪些(一)

云存储应用 云存储被扩展和一个新的概念在云(云计算)的概念开发的,指的是通过应用软件一起集群应用,网格或分布式文件系统等功能,云存储在大量不同类型的网络存储设备集合中的工作,提供了一个共同的外部数据存储和业务访问系统功能。 云计算分析系统中就需要通过配

2022-11-22 11:17:45

你的存储云会拿来用它来做什么呢?

你的存储云会拿来用它来做什么呢?

我们的工作,生活,学习,在现代社会,大多都是通过网络进行的。所以,随着日子的推移,我们的数据就会越来越多,这就少不了存储云了,你的存储云会拿来用它来做什么呢? 首先,你需要进行考虑你的私有存储云是用来做应用管理系统的存储,还是是通过桌面备份私有存储云端、

2022-11-21 10:44:48

超融合架构的兴拉动了软件定义存储的快速增长

超融合架构的兴拉动了软件定义存储的快速增长

在研究中IDC发现,2018年存储软件市场实现了很好的增长,但2019年上半年增速放缓,未来几年仍将保持个位数增长,主要受市场数字经济发展的影响,目前,在企业数据量加速经济增长、企业数据纷纷上云浪潮的推动下,

2020-03-24 17:06:28

问鼎腾讯最高技术奖,新一代云存储YottaStore的初心与初见

问鼎腾讯最高技术奖,新一代云存储YottaStore的初心与初见

凭借YottaStore的优异表现,存储团队也因此一举问鼎2021年度腾讯最高技术奖项-腾讯年度技术突破奖。

2022-01-26 15:33:26

云硬盘类型都有哪些?它们的区别又是什么?

云硬盘类型都有哪些?它们的区别又是什么?

云硬盘是更适合于企业使用的强稳定性,高性价比的云储存方式,是更适合于企业的存储选择。一般云硬盘有三种,普通云硬盘,SSD云硬盘,增强型SSD云硬盘,不同的云计算厂家对不同的云硬盘类型也有不同的命名

2022-11-23 15:23:43

腾讯云硬盘使用中不能忽视的生命周期问题

腾讯云硬盘使用中不能忽视的生命周期问题

腾讯云云硬盘是企业数字化转型中重要的一步,使用云硬盘可以解决传统硬盘使用过程中非常多不能解决的根本问题,例如扩容不方便、数据迁移难、容灾能力弱等问题,通过云硬盘可以有效解决这些问题。在使用云硬盘的过程当中,会出现很多问题,包括使用中遇到的。

2022-11-23 15:25:00

严选云产品

斑马Zebra ZD510-HC腕带打印机 ZD510-HC腕带打印机,专注医疗领域
京腾云仓零售商业解决方案 腾讯智慧零售和京东物流联⼿打造的私域⼀站式零售商业解决⽅案。 集全域流量感知⼩程序建站智能营销与洞察全渠道⼀盘货物流订单管理物流云仓托管服务(增值可选)于⼀体。旨在助⼒万千中⼩品牌商家打造完全⾃主可控的零售⽣意阵地,释放平台能⼒帮助商家快速冷启动,让⼯具真正⽤得起来,⽤得明⽩。
梅卡曼德机器人家电家具行业解决方案 梅卡曼德机器人家电家具行业解决方案,可识别表面凹凸不平、结构复杂的减震环;减震环可紧密贴合、亦可随意摆放。精度高,速度快,稳定可靠; 可根据产品形状以及位置,自动及时调整喷胶路径,灵活性高。内置轨迹规划、碰撞检测算法,提升机器人运行稳定性。
Tenable Tenable的被动和主动安全解决方案能够发现融合IT/OT系统的安全问题,并进行全面的评估,使客户能够理解并降低风险。
闪捷信息 数据库加密与访问控制系统 闪捷数据库加密与访问控制系统是一款应用于数据加密的安全产品。将数据库侧的敏感数据由明文存储改为密文存储,并在此基础上增加基于操作源(用户、IP地址、时段等)和操作行为(增、删、改、查)等多元组合因素且独立于数据库的访问机制进行授权管理。任何访问被加密数据的人或应用事先必须经过授权才能访问加密数据,有效防止管理员越权访问及黑客拖库。
左手医生病历OCR识别及结构化数据处理系统 左手医生病历OCR识别及结构化处理系统基于OCR和自然语言处理技术将门诊/住院病历、检查检验报告、处方/医嘱等医疗文档自动识别、转换为结构化数据 ,支持下游可视化、统计分析、推理等应用,可用于健康档案、质控、保险理赔及临床科研等业务场景。

推荐视频

甄选10000+数字化产品 为您免费使用

申请试用