分布式数据库和并行数据库相比有什么区别?

来源: 云巴巴 2020-04-16 17:45:26

    MPP(Massively Parallel Processing)是指多个处理器(或独立的计算机)并行处理一组协同计算,为了保证各节点的独立计算能力,MPP数据库通常采用ShareNothing架构,最为典型的产品是Teradata(简称TD),后来也出现Greenplum(简称GPDB)、Vertica、Netezza等竞争者。
    单在多年的实际发展应用中,我们可以发现MPP从批处理和联机访问控制两个重要方面都显现了一些研究不足。

分布式数据库和并行数据库相比有什么区别?

落后节点:
    使用本地CPU,存储器和磁盘资源,完成在MPP架构的本地数据处理,该节点的工作负载是存储在这些节点中完全对称,这个架构虽然提供了较好的扩展性,但隐藏了极大的问题——Straggler,即当某个节点出现问题导致速度比其他节点慢时,该节点会成为Straggler。
    此时,无论集群规模多大,批处理的整体执行速度都由Straggler决定,其他节点上的任务执行完毕后则进入空闲状态等待Straggler,而无法分担其工作,导致节点处理速度降低的原因多数是磁盘等硬件损坏,考虑到磁盘本身的一定故障率(根据统计前三个月内2%损坏率,第二年时达到8%)当集群规模达到一定程度时,故障会频繁出现使straggler成为一个常规问题。
并发性能:
    由于MPP“完全对称”,即当查询开始执行时,每个节点并行执行完全相同的任务,这意味着MPP支持的并发数与集群中的节点数完全独立,根据该文中的测试数据,4个节点的集群和400个节点的集群技术支持的并发用户查询数是相同的,随着并发数增加,这二者几乎在相同的时点出现安全性能骤降。
    传统的MPP在线查询主要针对企业管理的少数用户,对并发能力的要求较低。 在大数据时代,数据的用户从战略管理向战术执行层乃至一线人员转变,从孤立的分析场景向与业务交易场景的整合,对于联机查询的并发能力发展已经远超MPP时代,成为OLAP场景分布式数据库系统要考虑的一个非常重要研究问题。
    从整体架构来看,分布式更加看重大数据量批量处理的吞吐能力。同时,分布式具备MPP所缺失的批量任务进行调整发展能力,数据的多副本存储使其成为具有“本地化”数据信息加工的备选节点,而且数据加工处理与数据存储并不绑定,可以根据不同节点的运行效率动态调整任务分布,从而在大规模部署的情况下具有整体上更稳定的效率。相比之下,MPP在数据的相对少时有更好的效率。
并行数据库和分布式数据库的区别是什么
    (1)应用研究不同。并行数据库系统的目标是充分发挥并行计算机的优势,利用系统中的各个处理机结点并行完成数据库任务,提高数据库系统的整体性能,分布式数据库系统主要目的在于可以实现场地自治和数据的全局透明共享,而不要求利用网络中的各个结点来提高系统分析处理性能。
    (2)不同的实现方式。在具体实施中,分布式数据库系统与并行数据库系统也有很大的不同。 在并行数据库系统中,为了充分利用各节点的处理能力,可以在各节点之间采用高速网络连接。节点键的数据传输的成本相对较低,当一些节点处于空闲状态,可以通过高速网络处理工作负载过大的节点,以实现系统负载平衡。
    然而,在分布式数据库系统中,为了以满足应用需求,满足了部门分布特点的需求,连接到局域网或广域网的节点中,网络带宽低,颠倒点的通信开销大点。因此,在查询处理中应尽可能减少节点之间的数据传输。
    (3)各结点的地位不同。在并行数据库管理系统中,各结点是完全非独立的,不存在全局应用和局部应用的概念,在数据处理中只能通过发挥协同作用,而不能有局部应用。在分布式数据库管理系统中,各结点除了能通过网络进行协同工作完成全局事务外,各结点具有场地自治性,每个场地使独立的数据库系统。每个网站都有自己的数据库,客户,CPU和其他资源来运行自己的数据库系统,执行本地应用程序具有高度自治。

更多产品了解

欢迎扫码加入云巴巴企业数字化交流服务群

产品交流、问题咨询、专业测评

都在这里!

 

评论列表

为你推荐

引进源代码发展国产数据库,可行吗?

引进源代码发展国产数据库,可行吗?

今天为大家解答一个疑问:引进源代码发展国产数据库,可行吗? 国内引进的源代码数据库,这在上个世纪对有关人不敢想的数据库开发。 现,经济社会发展,富裕;而IBM也愿意迎合我国人民自身对企业本地化的需求,将搁置多年的Informix源代码可以取出“多吃一码”,

2020-04-17 17:59:05

突破底层基础架构瓶颈,揭秘TDSQL存储核心技术

突破底层基础架构瓶颈,揭秘TDSQL存储核心技术

本期将由腾讯云数据库专家工程师朱翀深度解读TDSQL新敏态引擎存储核心技术。以下是分享实录:

2021-12-29 11:39:38

快来了解一下数据库的数据种类吧

快来了解一下数据库的数据种类吧

数据库根据不同的数据结构和组织接触是不同的,数据库系统通常可以分为不同层次式数据库、网络式数据库和关系式数据库设计三种。 数据结构模型 所谓数据库的数据进行结构是指数据的组织管理形式或数据发展之间的联系,如果数据用D表示,数据对象之间的关系集用R表示,

2022-11-22 10:54:00

数据库审计和影响数据库审计的原因

数据库审计和影响数据库审计的原因

数据库管理审计信息系统是对数据库技术进行双方向、深度审计,不给黑客“高手”、内部工作人员或第三方运维人员等留任何可乘之机,防范财务数据可以安全风险隐患,数据库审计系统发展到预防,报警的事,三位一体追踪机制后,数据库安全保驾护航船队。 旁路部署,无需安装插

2022-11-22 16:03:53

数据仓库和数据库之间的那些事

数据仓库和数据库之间的那些事

事实上,数据仓库环境的核心,并提供存储在数据检索支持本地数据,相对于企业操纵型数据库管理来说其突出的特点是对海量信息数据的支持和快速的检索相关技术。 数据抽取工具 这些数据来自于过去的各种存储的,必要的改造,整合,然后存储到数据仓库中。对各种不同数据存

2022-11-22 10:58:23

瀚高数据库全面完成全国市场支撑体系建设

瀚高数据库全面完成全国市场支撑体系建设

2018年以来,随着国家基础软件振兴的使命,航高数据库不断加大研发投入和国际化运营,成为国内第一家实现国家市场支持体系建设的数据库制造商。

2019-09-17 16:23:45

严选云产品

网宿科技TikTok电商直播解决方案 网宿科技TikTok电商直播解决方案,通过我司的客户端或CPE设备,连接到就近最优的国内POP点,海外的POP点依据客户电商直播所在国/区域信息,选择对应的POP点及原生出口IP。实现了主播从国内到TikTok直播推流服务器间全程稳定链路运行。
数企鱼鹰云呼叫系统 数企鱼鹰云呼叫系统是由数企自主研发的一套基于计算机电话集成技术和云计算技术,获得多项计算机软件著作权,是集成云集客与云电销于一体的企业综合信息服务系统平台。目前坐席数超过20W,企业用户数10000+,在行业内积累了丰富的服务 经验和能力,并已享有良好的口碑和影响力。
数安云智数据安全管控平台 数安云智数据安全管控平台利用人工智能类脑计算等先进理念及技术,全力打造以数据为中心的企业级数据安全管控平台,以数据资产地图、数据安全网关、数据安全态势感知系统等产品为依托,实现真正意义上的智能化、自动化及细粒度安全管控,为企业的数字化打好安全基础,为数字经济保驾护航。
瑞翔消磁销毁服务 客户现场消磁销毁服务,消磁销毁硬盘、固态硬盘、手机等。
小笨智能商用服务机器人 小笨智能商用服务机器人强大的自然语言处理能力,支持自定义问答,具备三种问答模式:闲聊、特色问答、业务问答。根据访客问题,多模态互动 智能导航,并为访客提供针对性的讲解服务。主动唤醒,主动问候、主动识别参观人员、主动迎接访客。精确识别人脸信息,准确率超过99.7% 多场景自助签到,提升签到效率。
京东云云电脑 京东云云电脑,基于京东云成熟技术能力,提供99.995%可用性保证,在安全与稳定性上为业务提供保障。功能丰富,支持IDV,VOI,VDI多种云电脑类型。云电脑TSN低延时网络技术,保障云电脑应用级别的极致使用体验。云电脑高性能传输协议保证传输高效,支持高分辨率,高性能场景,GPU场景的稳定体验。

甄选10000+数字化产品 为您免费使用

申请试用