icon全球数据快速增长,需要存储系统具备海量存储能力icon

175ZB数据有多大规模?如果全保存在DVD上,那么把这些DVD堆起来可以绕地球222 圈。如果以100Mbps的速度下载这些数据,需要4.5亿年

随着移动互联网和物联网的普及,数据 产生的速度越来越快,全球数据总量将 保持高速增长。据IDC预测,到2025年 ,全球数据总量将达到175ZB。 传统的存储阵列,受限于架构和扩展能 力,已经无法满足日益增长的海量数据 存储的需求。基于分布式架构、高可扩 展性的软件定义存储系统(SDS)逐步成为 主流。据Gartner预测,到2024年, 50%以上的数据会保存在SDS存储上, 当前这个比例仅为15%。
icon应用与数据格式多样化,传统存储已经难以满足需求icon

在传统企业架构中,存储系统 一般只需要块和文件接口,即可满足数据库、虚拟化、文件共享等传统业务。随着企业数字化转型加速,大数据、人工智能等新兴技术被逐步引入到企业的生产系统, 在数据量剧增的同时,数据格式越来越多元化,HTTP、S3、 HDFS等访问接口逐渐成为主流,需要底层存储系统支持各类数据格式和访问接口。

icon混合云能力、软件定义与TCO成为企业考虑SDS的主要因素icon

根据权威机构Gartner的报告,企业对SDS存储的主要诉求是:混合云能力:出于性能、法规遵从、容 灾等考虑,数据本地访问,冷数据备份上云的方式逐步成为主流。业务敏捷性:SDS产品基于开放生态, 提供丰富的API接口,使业务以更敏捷的 方式访问存储系统。降低TCO:兼容各类开放硬件平台,灵活的采购模式,可以有效降低海量数据的存储成本。

iconTStor存储:混合云时代的最佳存储选择icon
 
TStor是腾讯云面向私有云与混合云场景推出的软硬一体的分布 式存储产品。
 
云边协同 数据在云上云下无缝流动,云备份与回源、云分层、云复制,一致的使用体验
安全可靠 部件、节点、机柜、数据中心、云等多级可靠性设计,系统可用性99.9999%, 端到端数据加密,完善的鉴权管理,保证数据的安全访问
融合高效 一套存储同时支持对象、文件、块,开箱即用,简化部署,可视化管理,大比例EC,自研硬件,TCO节省20%以上
icon云边协同,实现本地处理、云上分发、归档等能力icon

TStor支持数据上云方式:公有云备份功能,数据自动同步到云上COS;公有云回源功能,将公有云上数据取回本地;数据分层功能,冷数据上公有云,热数据存本地。

icon端到端可靠性设计,系统级可用性99.999%icon

通过节点级、系统级、方案级三个级别的可靠性设计,保证了TStor存储可用性达到99.999%

方案可靠性

支持2AZ、3AZ部署,实在多数据中心业务多活; 主从集群技术,可实现远程异地容灾,分钟级RPO;支持数据备份归档上云,保证数据永不丢失

系统可靠性

所有组件冗余部署,无单点故障;数据支持多副本冗余和EC算法,最大支持4个节点同时故障;支持节点级、机柜级、数据中心级别的数据容灾策略

节点可靠性

选用高品质硬件,可靠性达到业界领先水平;智能亚健康检测、故障预警,提前更换坏件;支持硬件热拔插、快速剔除故障组件或节点;支持磁盘漫游等技术,减少数据迁移开销

icon数据加密全程加密,支持生命周期管理,实现数据全生命周期安全icon
icon多协议融合,可同时支撑多个不同业务icon
iconI/O全路径性能优化,打造极致性能icon
硬件层面
支持全闪存节点,提供超低时延和超大带宽;支持25GE/100GE高速网络。
 
数据处理层面
全局缓存技术,提前预取数据,减少读盘时延;IO直通硬盘,无需经过文件元数据服务, 缩短IO路径。
 
 
协议处理层面
支持大目录分裂,归属到不同的元数据节点,提高大目录下文件元数据性能;支持目录按访问热度在多个元数据之间进行 balance,元数据服务不再是短板效应。
架构层面
可横向扩展至数千个节点,性能线性增长;支持恢复控制QoS,减少故障恢复后的性能波动;元数据和数据分池构建, 元数据使用SSD池,提供元数据的操作性能;带宽100GB/s以上,IOPS百万以上。
icon自研硬件与高效算法加持,整体TCO降低20%以上icon
icon自研唐古拉山硬件,打造极致高密低成本方案icon
方案组成
2U星星海服务器 + 4U110盘唐古拉山JBOD
2U星星海配置
AMD 7K62 48C 2.6G*2/32G*16/M.2 SSD 480G*1/NVMe 3.84T*1/HBA*2/OCP3 25G*2P
唐古拉山硬件参数
 
高度
4U
硬盘
110 * 3.5寸SATA
满配重量
130KG
尺寸
宽448mm,深990mm,高175.3mm
平均功耗
1300W

 

方案架构

每个存储节点由一个存储机头与一个JBOD磁盘框组成,存储机头与JBOD磁盘框之间直连,存储机头之间通过两台交换机互联,在存储机头上安装CSP存储软件,对外提供文件接口。

icon开箱即用,可视化管理,加快业务上线速度icon
iconTStor在腾讯内部广泛使用,积累了丰富的运维经验icon

超大规模,稳定可靠,运维简单的存储系统

总数据量数百PB
使用时间5年以上
集群数量100+
集群节点1000+
iconTStor软件功能清单icon
整体功能
在线扩容/缩容,兼容X86/ARM平台,多副本冗余,纠删码EC算法,自定义容灾策略,多AZ部署,恢复控制QOS,智能缓存,负载均衡。
对象存储
频控流控,异步远程复制,公有云备份,对象多版本,生命周期管理,存储桶标签,WORM防篡改,数据加密,图片处理,存储配额。
 
 
文件存储
NFS访问,CIFS/SMB访问,目录配额,目录级快照,回收站功能,WORM管理,操作审计,元数据负载均衡,文件云备份与同步。
块存储
libRBD访问,iSCSI接口,ROW快照,I/O多路径,Thin LUN分配,异步远程复制,LUN迁移。
icon视频存储与处理icon

场景特点:多路摄像头并发写入,带宽性能要求高;数据持续增长,要求存储容量在线增长;数据有保存期限,一般为一个月到半年, 到期后需要删除或归档;出于法规遵从要求,原始视频数据不可随意篡改。方案价值:单系统支持100GB/s以上带宽,可支撑数十万路摄像头并发写入;存储空间按需海量扩展;支持数据生命周期管理,到期数据自动删除,重要数据备份上云;支持WORM,防止数据篡改。

icon大数据分析icon

场景特点:大量文件读写,I/O吞吐量大;海量数量,对存储成本有一定要求;海量小文件处理难度高。方案价值:多种性能优化技术,大文件读写带宽超过100GB/s;同时支持纠删码与多副本,支持高密度存储节点,TCO降低 20%以上;针对海量小文件场景专门优化, 性能提升超过100%。

icon媒资音视频混合云存储 icon

场景特点:视频非线性编辑,对带宽和稳定性要求极高, 如4K码率可达1500Mbps,6层非线编需要 9000Mbps稳定带宽;媒资存储系统保存海量素材,需要管理简便、 低TCO的存储系统;多业务部门、多系统同时访问,需要严格的访 问控制和配额策略。 方案价值:TStor存储单流带宽可达2400Mbps,完全满足4K非编性能需求;同时支持纠删码与多副本,支持高密度存储节点,TCO降低20%以上;提供完善的权限控制功能,支持用户维度与存 储桶维度的配额管理。

icon金融票据影像存储方案icon

场景特点:文件大小普遍在几十KB到几MB,但文件数量非常多,是 典型的海量小文件场景,元数据访问容易出现性能瓶颈;数据量快速增加,需要底层存储系统具备横向扩展的能力;出于合规与审计的需要,要求文件写入后只能查看,不可篡改。 方案价值:TStor存储针对海量小文件场景进行了专门的性能优化, 消除元数据访问性能瓶颈,支持影像文件快速写入与调阅;单系统可横向扩展至上千节点,存储EB级数据;支持WORM,防止数据篡改;冷数据可归档至高密节点或公有云,降低成本。

产品推荐 查看更多>>
    腾讯云RayData农业行业数据可视化解决方案

    腾讯云RayData农业行业数据可视化解决方案,通过大数据可视化技术,实现对各县的农业产业概况、资源生产力、粮食安全生产、农业物联网四个模块。通过对全县到城区的转型监控管理,实现从整体到精准打点的智能化管控,提升城市的研判、决策、治理能力和服务效率。

    供应链的全流程全真可视化

    数字乡村可视化系统

    农业菜篮子监控系统

    乡村领导驾驶舱-实现“一站式”决策

    腾讯乐享AI助手

    腾讯乐享AI助手,通过大模型等 AIGC 底层能力,打造 20+ 功能与应用。提升创意水平、提高写作效率、降低写作门槛,整合多信息来源,跨越文件、音视频等多种形式,唤醒沉睡内容。打破传统搜索困境,实时、快速、准确提供知识答疑,信息获取更加轻松高效。

    AI内容生成

    多格式内容互转

    智能问答助手

    智能课件制作

    腾讯数字政务大数据解决方案

    私有化大数据平台TBDS是腾讯云提供的面向海量数据的存储、计算、分析统一平台,提供接入、存储、计算、服务、分析、管理等多个组件,支持用户本地部署、云上全托管和混合云多种部署模式,并提供满足政企客户在多租户、多集群、多引擎上的需要 。

    面向海量数据的存储、计算、分析统一平台

    提供接入、存储、计算、服务、分析、管理等多个组件

    支持云上全托管和混合云多种部署模式

    提供满足政企客户在多租户、多集群的需要