选型必看 | 节省50%存储成本,入门级数仓也能拥有强劲性能

来源: 云巴巴 2021-12-16 14:22:32

AnalyticDB PostgreSQL高性能基础版

云原生数据仓库AnalyticDB PostgreSQL版(下文简称ADB PG)是阿里云数据库团队基于PostgreSQL内核(下文简称PG)打造的一款云原生数据仓库产品。在数据实时交互式分析、HTAP、ETL、BI报表生成等业务场景,ADB PG都有着独特的技术优势。

对于离线报表分析等公有云典型场景,对数仓的可用性的要求并不苛刻,因此ADB PG推出了单副本形态,在大幅提升IO性能的同时降低近一半存储成本的同时,极大的提升了产品性价比。

核心架构设计

ADB PG高可用版实例采用双副本模式,部署结构如下:

图片

高性能【基础版】实例相比高可用版实例,master和segment均采用单节点部署,即省略了上图中master node的副本standby node,和所有compute node中primary节点的副本mirror。这样做一方面在compute node上节约了一半的存储空间,并且直接节省了standby node;另一方面,省略了primary和mirror的同步过程,提升了写入场景下的IO能力:

图片

产品优势

性能优势

高性能【基础版】 采用单副本相比高可用版双副本设计,IO性能有比较明显的提升,2C规格下,最高可达到原有相同规格集群的2.5倍;此外,在含有大量数据写入的场景下,高性能【基础版】节省了向副本进行数据同步和流复制的过程,这种场景下又有额外的接近1倍的IO提升。

对计算节点规格均为2C,节点存储均为400G的高性能【基础版】和高可用版集群进行以下测试:

  1. 大小约为90G的行存表进行本地复制测试:

  • create table lineitem2 as (select * from lineitem);
 

基础版(单副本)

高可用版(双副本)

用时(s)

249

1307

本地表CTAS,INSERT INTO SELECT,这类IO密集型场景,提升十分明显,上述场景有5倍性能提升。

  1. TPC-H测试

TPC-H 测试是数据仓库最常用的基准测试之一,包括 22 个SQL(Q1~Q22),主要评价指标是各个查询的执行时间

在计算节点规格均为2C,计算节点存储均为400G,计算节点个数均为4的情况下,对高性能【基础版】和高可用版进行数据集总大小为100G的TPC-H数据集进行基准测试,结果如下(单位:s):
图片

可以看到由于IO性能的提升,相比于高可用版,高性能【基础版】的TPCH基准测试用时降低了40%。

成本优势

高性能【基础版】成本优势主要体现在两方面:第一是相同规格下,节省了一个副本的存储空间,降低了50%的存储成本;另一方面,计算节点在相同算力下降低了价格。

图片

入门配置为所能购买的最低配置,高性能【基础版】为2C 50G 2计算节点,高可用版为2C 50G 4计算节点。相比高可用版,高性能【基础版】的入门价格降低了59%

常用配置下,高性能【基础版】和高可用版均为为4C 100G 4节点。相比高可用版,配置相同的情况下,价格降低了22%

稳定性能力优势

维持高数据可靠性

ADB PG采用阿里云ESSD云盘作为存储介质,可保证99.9999999%的数据可靠性,即使发生计算节点宕机,也可保证无数据丢失。ESSD云盘自身采用了三副本技术,故可保证即使在单副本模式下,依然提供超高的数据可靠性,为客户的数据保驾护航。

可用性能力变化

1、WAL和checkpoint

ADB PG中,事务的每次修改数据的操作都必须首先被记录至WAL(Write Ahead Log)文件中。即每次事务提交时,会保证WAL日志已落盘。当数据库需要恢复数据时,可以通过回放WAL日志的方法来恢复已经提交但是尚未写入磁盘的数据库的数据更改。

checkpoint相当于在WAL日志中写入的一个恢复点标记,并将该标记之前的修改全部落盘。数据库恢复数据时,只需要回放到最近一次恢复点即可。ADB PG会定期执行checkpoint操作;当WAL日志过长时,也会自动执行checkpoint进行落盘。

2、Recovery模式

SQL崩溃时,主要是出现coredump或者out of memory等情况,会使ADB PG集群进入recovery模式,recovery模式中,会对残留的锁,内存等执行一些清理工作,并通过回放WAL文件来保证数据的完整性。Recovery期间,集群会暂时无法服务;完成recovery之后,集群会恢复正常。高可用版实例recovery时间大多在5-10min,而高性能【基础版】实例通过更改checkpoint机制等方式,recovery的时间可缩短至10s左右。

3、计算节点宕机

高性能【基础版】实例省略了一个副本,必然带来可用性的下降。高可用版的某个计算节点宕机之后,会立刻无缝切换对应副本,集群可以正常运行,宕机的计算节点的角色会切换为副本,在后台被自动重启;而高性能【基础版】实例单个节点宕机会导致整个集群出现短暂不可用,ADB PG会自动识别并触发秒至分钟级别的恢复任务来确保业务快速恢复。

4、计算节点宿主机宕机

计算节点宿主机宕机属于比较少见的极端情况,会触发宿主机的自动迁移。对于高可用版实例,仍然可以触发副本自动切换,集群可以正常运行,同时后台自动完成宿主机的迁移;高性能【基础版】实例则需要等待宿主机迁移成功后,再重启恢复集群,这个等待时间一般在15min左右。

ADB PG 高性能【基础版】由于省略了一个副本,在高可用方面出现了一些下降,在物理机宕机等极端情况下,集群恢复的时间变长。但通过ESSD多副本技术,仍保留了完整的数据可靠性,并且通过更改checkpoint机制的方式,减少了recovery的时间。根据以往公共云运行情况,recovery模式为出现概率最大的场景(远大于另外两个场景),而该场景下高性能【基础版】恢复速度当前要优于高可用版。

创建高性能【基础版】实例

可选地域

第一批高性能【基础版】实例覆盖5个核心区域, 用户可在北京可用区I,杭州可用区J,上海可用区L,深圳可用区F,新加坡可用区C 等5个可用区抢先使用。

图片

选择实例规格

图片

在首批开通的5个核心可用区中, 在实例系列提供“高性能【基础版】”实例的选项。由于对单点计算能力的加强,ADB PG进一步降低了起步门槛,允许最小的计算节点从2个节点起,综合起步成本降低了59%。

图片

配置存储空间置后,可选择想要购买的时长(若有稳定需求,建议购买一年期,享85折优惠),总配置费用一栏会显示当前配置的费用,确认后点击右下角的立即购买,即完成创建!

图片

总结

高性能【基础版】实例最大程度的适配非核心业务的IO密集型分析场景,大幅降低了产品的入门门槛,使用成本。未来ADB PG将持续深耕性价比,提高用户使用体验,助力企业解锁数据价值!

更多产品了解

欢迎扫码加入云巴巴企业数字化交流服务群

产品交流、问题咨询、专业测评

都在这里!

 

评论列表

为你推荐

腾讯云MySQL云数据库,多种类型满足用户使用需求

腾讯云MySQL云数据库,多种类型满足用户使用需求

腾讯云MySQL云数据库和普通的云数据库相比具备这些优势,首先是企业级定制核心T-XSQL能够大幅度提升云数据库的性能以及稳定性,作为企业级的云数据库服务,腾讯云MySQL云数据库还具有企业级高可用、企业级高可靠、企业级安全、企业级扩展以及企业级智能运维等

2022-11-24 14:03:35

听说你还不知道什么是云数据库

听说你还不知道什么是云数据库

在当代社会,到处充满着机会,每个人都有自己的梦想,大多数人愿意朝着实现目标而奋斗。学习有关科技和互联网的知识的必要性不容分说。而这篇文章,就主谈一下有关云数据库的相关知识。     云数据库具有自感知、自修复、自优化、自安全的优点,阿里云的云数据库由,

2020-04-28 17:40:39

数据库应用创新实验室2019金融科技产业峰会正式揭牌

数据库应用创新实验室2019金融科技产业峰会正式揭牌

2019年10月31日,在中国信通院的牵头下,数据库应用创新实验室2019(第二届)金融科技产业峰会正式揭牌,热璞数据库HotDB作为数据库应用创新实验室联合发起单位之一,为加速推动我国数据库技术进步贡献自己的力量。

2020-02-11 09:42:08

关于“分布式数据库”的简要概述

关于“分布式数据库”的简要概述

下面对“分布式数据库”做简要概述——     第一、“分布式计算”突破概念框架集中DBS,一个数据分发系统,使DB的路径分布,该系统的分布函数到C / S的道路。这是两个DBS的发展。

2020-04-17 19:46:09

分布式数据库和并行数据库相比有什么区别?

分布式数据库和并行数据库相比有什么区别?

从整体架构来看,分布式更加看重大数据量批量处理的吞吐能力。同时,分布式具备MPP所缺失的批量任务进行调整发展能力,数据的多副本存储使其成为具有“本地化”数据信息加工的备选节点,而且数据加工处理与数据存储并不绑定,可以根据不同节点的运行效率动态调整任务分布。

2020-04-16 17:45:26

分布式数据库融合区块链技术带来的曙光

分布式数据库融合区块链技术带来的曙光

尽管区块链和数据库在各自的领域代表最进步前辈的技术,然则它们都有各自的短板和缺乏,是以这两种技术的融合将给行业带来新的曙光,区块链的观点大概引伸出了不少贸易方面的刷新,然则抛开这些上层修筑,从底层地基来看,区块链属于是一种特殊的数据库技术。

2020-04-16 17:40:13

严选云产品

艾利特协作机器人 艾利特协作机器人是面向柔性制造的新一代灵巧机器人,重量轻、体积小、功能强大能更灵活地满足应用和行业需求,适于搬运、装配、检测等多种工艺和应用。高负载自重比,部分机型性能远超过国外同类产品完善的安全功能和高等级的产品性能,国际领先。灵敏的拖拽示教和面向应用的界面设计,入手简单、示教简单。高自研率+面向应用的产品快速迭代能力,性价比高。完善的二次开发接口和界面扩展能力,通用性强。
移动安全态势感知分析平台 指掌易移动安全态势感知分析平台(MSA)通过分析移动信息化过程中的各类业务安全数据,平台可以评估政移动环境的安全态势,通过可视化呈现,为管理者实施管理和决策提供全面而可靠的依据。
亿赛通电子文档安全管理系统 亿赛通电子文档安全管理系统以“加密敏感数据”、“控制敏感内容流通”、“规范员工访问行为”为抓手,以“带不走、打不开、读不懂”为控制目标,以平衡效率和安全为原则,基于文件过滤驱动技术实现企业重要数据资产的全生命周期保护。
云安全资源池 针对私有云或虚拟化资源池用户推出的,新一代安全安全资源池平台型产品。产品可充分满足用户对虚拟化环境的深度防护和弹性扩展等需求。具有以下三大部件:虚拟化安全资源池,智慧流平台(SDS)和云导流系统(VTAP)。
微联SCRM私域运营管理系统 微联SCRM私域运营管理系统,帮助企业突破企微传统接口功能开发的限制,实现功能自定义开发。生成数字员工,通过云企微RPA实现自动化营销,一人管理多个企微号的聊天、客户转移协作处理难题。会话可追溯,提供溯源材料提升话术服务质量。
Cisco Nexus 5600 平台 40 Gbps 交换机 Cisco Nexus® 5600平台千兆以太网交换机是行业领先的数据中心服务器接入交换机Cisco Nexus 5000系列交 换机的第三代。

甄选10000+数字化产品 为您免费使用

申请试用