选型必看 | 节省50%存储成本,入门级数仓也能拥有强劲性能

来源: 云巴巴 2021-12-16 14:22:32

AnalyticDB PostgreSQL高性能基础版

云原生数据仓库AnalyticDB PostgreSQL版(下文简称ADB PG)是阿里云数据库团队基于PostgreSQL内核(下文简称PG)打造的一款云原生数据仓库产品。在数据实时交互式分析、HTAP、ETL、BI报表生成等业务场景,ADB PG都有着独特的技术优势。

对于离线报表分析等公有云典型场景,对数仓的可用性的要求并不苛刻,因此ADB PG推出了单副本形态,在大幅提升IO性能的同时降低近一半存储成本的同时,极大的提升了产品性价比。

核心架构设计

ADB PG高可用版实例采用双副本模式,部署结构如下:

图片

高性能【基础版】实例相比高可用版实例,master和segment均采用单节点部署,即省略了上图中master node的副本standby node,和所有compute node中primary节点的副本mirror。这样做一方面在compute node上节约了一半的存储空间,并且直接节省了standby node;另一方面,省略了primary和mirror的同步过程,提升了写入场景下的IO能力:

图片

产品优势

性能优势

高性能【基础版】 采用单副本相比高可用版双副本设计,IO性能有比较明显的提升,2C规格下,最高可达到原有相同规格集群的2.5倍;此外,在含有大量数据写入的场景下,高性能【基础版】节省了向副本进行数据同步和流复制的过程,这种场景下又有额外的接近1倍的IO提升。

对计算节点规格均为2C,节点存储均为400G的高性能【基础版】和高可用版集群进行以下测试:

  1. 大小约为90G的行存表进行本地复制测试:

  • create table lineitem2 as (select * from lineitem);
 

基础版(单副本)

高可用版(双副本)

用时(s)

249

1307

本地表CTAS,INSERT INTO SELECT,这类IO密集型场景,提升十分明显,上述场景有5倍性能提升。

  1. TPC-H测试

TPC-H 测试是数据仓库最常用的基准测试之一,包括 22 个SQL(Q1~Q22),主要评价指标是各个查询的执行时间

在计算节点规格均为2C,计算节点存储均为400G,计算节点个数均为4的情况下,对高性能【基础版】和高可用版进行数据集总大小为100G的TPC-H数据集进行基准测试,结果如下(单位:s):
图片

可以看到由于IO性能的提升,相比于高可用版,高性能【基础版】的TPCH基准测试用时降低了40%。

成本优势

高性能【基础版】成本优势主要体现在两方面:第一是相同规格下,节省了一个副本的存储空间,降低了50%的存储成本;另一方面,计算节点在相同算力下降低了价格。

图片

入门配置为所能购买的最低配置,高性能【基础版】为2C 50G 2计算节点,高可用版为2C 50G 4计算节点。相比高可用版,高性能【基础版】的入门价格降低了59%

常用配置下,高性能【基础版】和高可用版均为为4C 100G 4节点。相比高可用版,配置相同的情况下,价格降低了22%

稳定性能力优势

维持高数据可靠性

ADB PG采用阿里云ESSD云盘作为存储介质,可保证99.9999999%的数据可靠性,即使发生计算节点宕机,也可保证无数据丢失。ESSD云盘自身采用了三副本技术,故可保证即使在单副本模式下,依然提供超高的数据可靠性,为客户的数据保驾护航。

可用性能力变化

1、WAL和checkpoint

ADB PG中,事务的每次修改数据的操作都必须首先被记录至WAL(Write Ahead Log)文件中。即每次事务提交时,会保证WAL日志已落盘。当数据库需要恢复数据时,可以通过回放WAL日志的方法来恢复已经提交但是尚未写入磁盘的数据库的数据更改。

checkpoint相当于在WAL日志中写入的一个恢复点标记,并将该标记之前的修改全部落盘。数据库恢复数据时,只需要回放到最近一次恢复点即可。ADB PG会定期执行checkpoint操作;当WAL日志过长时,也会自动执行checkpoint进行落盘。

2、Recovery模式

SQL崩溃时,主要是出现coredump或者out of memory等情况,会使ADB PG集群进入recovery模式,recovery模式中,会对残留的锁,内存等执行一些清理工作,并通过回放WAL文件来保证数据的完整性。Recovery期间,集群会暂时无法服务;完成recovery之后,集群会恢复正常。高可用版实例recovery时间大多在5-10min,而高性能【基础版】实例通过更改checkpoint机制等方式,recovery的时间可缩短至10s左右。

3、计算节点宕机

高性能【基础版】实例省略了一个副本,必然带来可用性的下降。高可用版的某个计算节点宕机之后,会立刻无缝切换对应副本,集群可以正常运行,宕机的计算节点的角色会切换为副本,在后台被自动重启;而高性能【基础版】实例单个节点宕机会导致整个集群出现短暂不可用,ADB PG会自动识别并触发秒至分钟级别的恢复任务来确保业务快速恢复。

4、计算节点宿主机宕机

计算节点宿主机宕机属于比较少见的极端情况,会触发宿主机的自动迁移。对于高可用版实例,仍然可以触发副本自动切换,集群可以正常运行,同时后台自动完成宿主机的迁移;高性能【基础版】实例则需要等待宿主机迁移成功后,再重启恢复集群,这个等待时间一般在15min左右。

ADB PG 高性能【基础版】由于省略了一个副本,在高可用方面出现了一些下降,在物理机宕机等极端情况下,集群恢复的时间变长。但通过ESSD多副本技术,仍保留了完整的数据可靠性,并且通过更改checkpoint机制的方式,减少了recovery的时间。根据以往公共云运行情况,recovery模式为出现概率最大的场景(远大于另外两个场景),而该场景下高性能【基础版】恢复速度当前要优于高可用版。

创建高性能【基础版】实例

可选地域

第一批高性能【基础版】实例覆盖5个核心区域, 用户可在北京可用区I,杭州可用区J,上海可用区L,深圳可用区F,新加坡可用区C 等5个可用区抢先使用。

图片

选择实例规格

图片

在首批开通的5个核心可用区中, 在实例系列提供“高性能【基础版】”实例的选项。由于对单点计算能力的加强,ADB PG进一步降低了起步门槛,允许最小的计算节点从2个节点起,综合起步成本降低了59%。

图片

配置存储空间置后,可选择想要购买的时长(若有稳定需求,建议购买一年期,享85折优惠),总配置费用一栏会显示当前配置的费用,确认后点击右下角的立即购买,即完成创建!

图片

总结

高性能【基础版】实例最大程度的适配非核心业务的IO密集型分析场景,大幅降低了产品的入门门槛,使用成本。未来ADB PG将持续深耕性价比,提高用户使用体验,助力企业解锁数据价值!

更多产品了解

欢迎扫码加入云巴巴企业数字化交流服务群

产品交流、问题咨询、专业测评

都在这里!

 

评论列表

为你推荐

热璞数据库获华为首家鲲鹏体系分布式数据库认证厂商

热璞数据库获华为首家鲲鹏体系分布式数据库认证厂商

全面数字化转型背景下, 世界正加速进入5G时代,业务的多样性与复杂程度越来越高, 众多企业面临IT架构分布式转型的挑战,对数据库的需求则不断升级。2019年11月11日 ,以【鲲鹏展翅 力算未来 共赢计算机新时代】为主题的鲲鹏计算产业峰会

2020-02-11 10:29:59

全球最受欢迎的开源数据库之一云数据库

全球最受欢迎的开源数据库之一云数据库

现在,随着劳动力市场变得低迷,竞争日趋激烈,对于大多数人来说找到一份好工作很难,所以,我们就要多多了解现代科技,了解云数据库就十分必要了。 云数据库对于商业实战市场的应用: 对于电商有高并发、高性能场景,能提供稳定、高性能、安全可靠的数据库服务,云数据

2021-12-27 10:17:18

数据引擎全新发布;门户界面实现千人千面;SQL Server、Oracle、MySQL数据库连接器上线|功能更新

数据引擎全新发布;门户界面实现千人千面;SQL Server、Oracle、MySQL数据库连接器上线|功能更新

轻流连接中心上线SQL Server、Oracle、MySQL三大主流数据库连接器。

2022-02-25 10:31:50

我们应该要如何去定义数据库呢?

我们应该要如何去定义数据库呢?

数据库,即存储电子文件,用户可以对文件中的数据进行新建,截取,更新,删除等操作。简而言之,可以看作是电子文件柜。 “数据库”线一起存储在一定的方式,多个用户可以共享,用尽可能小的冗余时,应用程序数据集相互独立的,一个企业数据库由多个表空间构成。 数据库

2022-11-22 10:54:09

数据库文件系统阶段的数据管理特点

数据库文件系统阶段的数据管理特点

本文主要从数据库文件系统阶段的数据管理的优点和缺点两个方面来说一下。 优点 由于我国计算机的应用研究转向信息资源管理,因此对文件要进行分析大量的查询、修改和插入等操作。所以,数据库以“文件”形式可长期进行保存在外部数据存储器的磁盘上。

2022-11-22 10:51:42

腾讯云数据库海量数据交互之道

腾讯云数据库海量数据交互之道

TDSQL-A是在腾讯业务场景下诞生的在线分布型OLAP数据库系统,在处理海量数据分析业务的过程中持续对产品构架进行升级调整,是PG生态中分析型MPP产品的又一力作

2022-02-23 15:35:24

严选云产品

考试星在线防作弊考试平台 考试星在线防作弊考试平台,三路音视频实时监考,全场景防作弊,确保笔试全程严肃公平。目前市场独有功能,提供手机副机位ai甄别手段,高效统筹。监考员实时监控,违规及时提醒,考试过程录像保持,三路音视频导出查看。监考员可在线观看考试全部信息,多场考试随时切换。
竹云科技IDaaS身份云 竹云以"IDentity"身份为核心,为“企业”+“应用开发者”提供服务,快速实现WEB、APP 、公众号、小程序等应用的身份管理与访问控制,帮助企业员工、合作伙伴、客户、应用开发者快速构建安全、便捷的数字身份解决方案。
有成CRM 有成CRM是一款SaaS模式的客户关系管理软件,以客户管理为核心,包含客户管理、销售全流程管理,合同订单、项目管理、工单管理、呼叫中心、移动审批、数据分析八大模块。旨在助力企业销售全流程精细化、数字化管理,全面解决了企业销售团队的全流程客户服务难题,帮助企业有效盘活客户资源、量化销售行为,合理配置资源、建立科学销售体系,提升销售业绩。
奇安信天擎终端安全管理系统 奇安信天擎终端安全管理系统,终端用户可自动强制登录、设备资产可视化呈现、多条件组合筛选,资产责任人清晰明了。融合了机器学习等人工智能技术,脱离了对具体漏洞、文件特征、行为特征的依赖。支持多种类型的感知配置,根据环境风险对终端的影响程度自定义不同的模板。
钉钉未来医院智慧管理解决方案 钉钉未来医院智慧管理解决方案,组织通讯录,统一通讯方式,人财物事在线,信息必达,沟通更高效。医院管理者通过手机实时掌握运营数据,快速科学决策,管理在线透明。跨科室协作,审批报销、公文流转、会务管理、考勤排班,全流程掌控,更顺畅,更便捷。
腾讯云账号连接器 腾讯云账号连接器,实现对人员、组织架构及人员组等多维度身份数据的储存及权限规则管理。—套用户名密码即可访问所有应用统一企业内部身份认证机制,利用扫码、推送、OTP、生物识别等方式,结合安全场景智能唤起二次验证。

甄选10000+数字化产品 为您免费使用

申请试用