icon全球数据快速增长,需要存储系统具备海量存储能力icon

175ZB数据有多大规模?如果全保存在DVD上,那么把这些DVD堆起来可以绕地球222 圈。如果以100Mbps的速度下载这些数据,需要4.5亿年

随着移动互联网和物联网的普及,数据 产生的速度越来越快,全球数据总量将 保持高速增长。据IDC预测,到2025年 ,全球数据总量将达到175ZB。 传统的存储阵列,受限于架构和扩展能 力,已经无法满足日益增长的海量数据 存储的需求。基于分布式架构、高可扩 展性的软件定义存储系统(SDS)逐步成为 主流。据Gartner预测,到2024年, 50%以上的数据会保存在SDS存储上, 当前这个比例仅为15%。
icon应用与数据格式多样化,传统存储已经难以满足需求icon

在传统企业架构中,存储系统 一般只需要块和文件接口,即可满足数据库、虚拟化、文件共享等传统业务。随着企业数字化转型加速,大数据、人工智能等新兴技术被逐步引入到企业的生产系统, 在数据量剧增的同时,数据格式越来越多元化,HTTP、S3、 HDFS等访问接口逐渐成为主流,需要底层存储系统支持各类数据格式和访问接口。

icon混合云能力、软件定义与TCO成为企业考虑SDS的主要因素icon

根据权威机构Gartner的报告,企业对SDS存储的主要诉求是:混合云能力:出于性能、法规遵从、容 灾等考虑,数据本地访问,冷数据备份上云的方式逐步成为主流。业务敏捷性:SDS产品基于开放生态, 提供丰富的API接口,使业务以更敏捷的 方式访问存储系统。降低TCO:兼容各类开放硬件平台,灵活的采购模式,可以有效降低海量数据的存储成本。

iconTStor存储:混合云时代的最佳存储选择icon
 
TStor是腾讯云面向私有云与混合云场景推出的软硬一体的分布 式存储产品。
 
云边协同 数据在云上云下无缝流动,云备份与回源、云分层、云复制,一致的使用体验
安全可靠 部件、节点、机柜、数据中心、云等多级可靠性设计,系统可用性99.9999%, 端到端数据加密,完善的鉴权管理,保证数据的安全访问
融合高效 一套存储同时支持对象、文件、块,开箱即用,简化部署,可视化管理,大比例EC,自研硬件,TCO节省20%以上
icon云边协同,实现本地处理、云上分发、归档等能力icon

TStor支持数据上云方式:公有云备份功能,数据自动同步到云上COS;公有云回源功能,将公有云上数据取回本地;数据分层功能,冷数据上公有云,热数据存本地。

icon端到端可靠性设计,系统级可用性99.999%icon

通过节点级、系统级、方案级三个级别的可靠性设计,保证了TStor存储可用性达到99.999%

方案可靠性

支持2AZ、3AZ部署,实在多数据中心业务多活; 主从集群技术,可实现远程异地容灾,分钟级RPO;支持数据备份归档上云,保证数据永不丢失

系统可靠性

所有组件冗余部署,无单点故障;数据支持多副本冗余和EC算法,最大支持4个节点同时故障;支持节点级、机柜级、数据中心级别的数据容灾策略

节点可靠性

选用高品质硬件,可靠性达到业界领先水平;智能亚健康检测、故障预警,提前更换坏件;支持硬件热拔插、快速剔除故障组件或节点;支持磁盘漫游等技术,减少数据迁移开销

icon数据加密全程加密,支持生命周期管理,实现数据全生命周期安全icon
icon多协议融合,可同时支撑多个不同业务icon
iconI/O全路径性能优化,打造极致性能icon
硬件层面
支持全闪存节点,提供超低时延和超大带宽;支持25GE/100GE高速网络。
 
数据处理层面
全局缓存技术,提前预取数据,减少读盘时延;IO直通硬盘,无需经过文件元数据服务, 缩短IO路径。
 
 
协议处理层面
支持大目录分裂,归属到不同的元数据节点,提高大目录下文件元数据性能;支持目录按访问热度在多个元数据之间进行 balance,元数据服务不再是短板效应。
架构层面
可横向扩展至数千个节点,性能线性增长;支持恢复控制QoS,减少故障恢复后的性能波动;元数据和数据分池构建, 元数据使用SSD池,提供元数据的操作性能;带宽100GB/s以上,IOPS百万以上。
icon自研硬件与高效算法加持,整体TCO降低20%以上icon
icon自研唐古拉山硬件,打造极致高密低成本方案icon
方案组成
2U星星海服务器 + 4U110盘唐古拉山JBOD
2U星星海配置
AMD 7K62 48C 2.6G*2/32G*16/M.2 SSD 480G*1/NVMe 3.84T*1/HBA*2/OCP3 25G*2P
唐古拉山硬件参数
 
高度
4U
硬盘
110 * 3.5寸SATA
满配重量
130KG
尺寸
宽448mm,深990mm,高175.3mm
平均功耗
1300W

 

方案架构

每个存储节点由一个存储机头与一个JBOD磁盘框组成,存储机头与JBOD磁盘框之间直连,存储机头之间通过两台交换机互联,在存储机头上安装CSP存储软件,对外提供文件接口。

icon开箱即用,可视化管理,加快业务上线速度icon
iconTStor在腾讯内部广泛使用,积累了丰富的运维经验icon

超大规模,稳定可靠,运维简单的存储系统

总数据量数百PB
使用时间5年以上
集群数量100+
集群节点1000+
iconTStor软件功能清单icon
整体功能
在线扩容/缩容,兼容X86/ARM平台,多副本冗余,纠删码EC算法,自定义容灾策略,多AZ部署,恢复控制QOS,智能缓存,负载均衡。
对象存储
频控流控,异步远程复制,公有云备份,对象多版本,生命周期管理,存储桶标签,WORM防篡改,数据加密,图片处理,存储配额。
 
 
文件存储
NFS访问,CIFS/SMB访问,目录配额,目录级快照,回收站功能,WORM管理,操作审计,元数据负载均衡,文件云备份与同步。
块存储
libRBD访问,iSCSI接口,ROW快照,I/O多路径,Thin LUN分配,异步远程复制,LUN迁移。
icon视频存储与处理icon

场景特点:多路摄像头并发写入,带宽性能要求高;数据持续增长,要求存储容量在线增长;数据有保存期限,一般为一个月到半年, 到期后需要删除或归档;出于法规遵从要求,原始视频数据不可随意篡改。方案价值:单系统支持100GB/s以上带宽,可支撑数十万路摄像头并发写入;存储空间按需海量扩展;支持数据生命周期管理,到期数据自动删除,重要数据备份上云;支持WORM,防止数据篡改。

icon大数据分析icon

场景特点:大量文件读写,I/O吞吐量大;海量数量,对存储成本有一定要求;海量小文件处理难度高。方案价值:多种性能优化技术,大文件读写带宽超过100GB/s;同时支持纠删码与多副本,支持高密度存储节点,TCO降低 20%以上;针对海量小文件场景专门优化, 性能提升超过100%。

icon媒资音视频混合云存储 icon

场景特点:视频非线性编辑,对带宽和稳定性要求极高, 如4K码率可达1500Mbps,6层非线编需要 9000Mbps稳定带宽;媒资存储系统保存海量素材,需要管理简便、 低TCO的存储系统;多业务部门、多系统同时访问,需要严格的访 问控制和配额策略。 方案价值:TStor存储单流带宽可达2400Mbps,完全满足4K非编性能需求;同时支持纠删码与多副本,支持高密度存储节点,TCO降低20%以上;提供完善的权限控制功能,支持用户维度与存 储桶维度的配额管理。

icon金融票据影像存储方案icon

场景特点:文件大小普遍在几十KB到几MB,但文件数量非常多,是 典型的海量小文件场景,元数据访问容易出现性能瓶颈;数据量快速增加,需要底层存储系统具备横向扩展的能力;出于合规与审计的需要,要求文件写入后只能查看,不可篡改。 方案价值:TStor存储针对海量小文件场景进行了专门的性能优化, 消除元数据访问性能瓶颈,支持影像文件快速写入与调阅;单系统可横向扩展至上千节点,存储EB级数据;支持WORM,防止数据篡改;冷数据可归档至高密节点或公有云,降低成本。

产品推荐 查看更多>>
    腾讯云弹幕游戏解决方案

    腾讯云弹幕游戏解决方案,基于协议优化+超级节点直播加速,快直播实现低于 500ms 延迟直播体验。首帧耗时更低,弱网抗性更佳。QoE/QoS全面提升。全链路功能兼容,可直接复用标准直播的全部能力及配置,快速完成迁移。多种接入模式,完整SDK、传输层SDK、自研源码接入可按需灵活选择。

    毫秒级延迟体验更佳

    独家SDK灵活接入

    一步迁移快速集成

    可任意组合多应用共享

    腾讯云COS对象存储

    对象存储(Cloud Object Storage,COS)是腾讯云提供的一种存储海量文件的分布式存储服务,用户可通过网络随时存储和查看数据。腾讯云 COS 使所有用户都能使用具备高扩展性、低成本、可靠和安全的数据存储服务。

    无目录层次结构、无数据格式限制

    无容量上限,无需分区管理

    稳定持久、安全可靠、成本最优

    腾讯云分析型分布式数据库TDSQL-A

    TDSQL-A是腾讯云自主研发的分布式分析型数据库系统,有自研列式存储引擎,采用无共享的集群架构,支持高效的海量数据复杂 查询能力,具备高扩展性、高 SQL 兼容度、高压缩比等特性,同时具备完整的分布式事务支持能力,又支持多级容灾以及多维度资源隔离。

    自研列式存储

    高效复杂查询

    海量数据存储

    企业级数据安全