腾讯云数据湖存储加速器GooseFS_大数据存算分离存储方案

腾讯云数据湖存储加速器GooseFS

腾讯云数据湖存储加速器 GooseFS，专注大数据存算分离与数据预热加速方案。支持计算与存储资源解耦，通过缓存预热优化数据访问效率，提升 AI 训练、大数据分析场景下的读写性能。适配湖仓一体架构，提供高可用分布式存储加速服务，是大数据存算优化优选方案。

立即咨询

数据湖存储：助力企业上云用数赋智 icon

依托腾讯云完善的数据接入、传输、存储、分析、消费体系，构建完整的企业级数据治理方案，帮助企业实现数据要素的快速流转和价值发现，提升企业竞争力。

数据湖存储能力介绍

核心优势

极致性能：基于分布式缓存架构，为用户提供近计算端的高性能数据访问能力。
成本集约：充分利用计算节点的闲置本地盘资源提供数据访问加速能力。
生态亲和性：支持Spark、Tensorflow等大数据、AI计算框架，管理多种存储服务。
易用性：通过透明加速能力提供平滑升级能力。
稳定性：支持CLS、云Prometheus等日志监控服务，简化运维流程，提升稳定性。

多数据源支持

可对接多种数据源，允许存储任意规模的结构
化、半结构化、非结构化数据，同时可以按原样
存储数据。

计算弹性

通过计算与存储分离，实现计算资源的弹性伸
缩，满足客户对计算资源的灵活调度。

成本最优

为集中式存储池，可快速扩展或缩减存储资源，
实现存储数据冷热分层，降低大数据分析与机器
学习存储成本

服务集成

无缝支持腾讯云各类计算分析、机器学习产品，
包括弹性 MapReduce、流计算 Oceanus。

按需流动数据

自动执行、手动触发或周期性流动数据，主机通
过 GooseFSx 立即访问和高性能处理COS 的数
据，并按需将计算结果持久化到COS。

极高性能和极低时延

采用专为高性能工作负载设计的全并行架构，性
能随容量扩展而线性扩展，迸发出每秒数百 GB
的吞吐量，数百万级IOPS，和亚毫秒级延时。

应用场景-大数据湖仓一体 icon

通过数据湖存算分离、三级加速，提高业务效率，降低业务成本。

成本

存储成本：COS通过EC方式，对比HDFS三副本，降
低存储成本。同时，通过CoS冷热分层，进一步降低存储成本;
计算成本：GooseFS缓存数据，提高计算效率，降低计算集群成本;
带宽成本：GooseFS缓存热数据后，大幅度降低COS访问。AZ加速器，显著降低跨AZ的带宽成本;
集群成本：计算和存储分开部署，计算单独扩容，存储按需使用，最大化提升集群资源利用率；

生态

通过数据湖统一存储，业务间数据自由流动；相比存算一体的数据孤岛，数据湖方案方便数据跨业务访问，减少数据冗余存储

性能

GooseFS通过内存、本地NvmeSSD缓存热数据，大幅提高I0性能。相比原SATA本地盘读取效率大幅提升，缩短整体作业执行时间；
元数据计算器，大幅提升List/Rename等元数据操作性能储

应用场景-混合云数据湖 icon

通过GooseFS完成跨数据中心、多存储引擎数据管理，提高业务效率，降低业务成本

成本

存储成本：通过GooseFS完成数据流转，支持将热数据缓存到计算节点本地盘，冷数据流转到公有云coS上进一步降低成本。
计算成本：GooseFS缓存数据，提高计算效率，充分利用集群限制资源。
带宽成本：GooseFS缓存热数据后，大幅度降低不同存储引擎和不同数据中心之间的带宽。
集群成本：计算和存储分开部署，计算单独扩容，存储按需使用，最大化提升集群资源利用率。

生态

通过GooseFS支撑多种不同的计算框架访问，实现统一存储入口的目标

性能

GooseFS通过内存、本地Nvme SSD缓存热数据，大幅提高I0性能。相比原SATA本地盘读取效率大幅提升，缩短整体作业执行时间储

应用场景-自动驾驶

采集车量原始数据先写入本地数据中心存储设备，之后数据会通过专线上传到云上对象存储。
原始数据进行预处理后（抽帧，标注），生成训练数据集。
黑石GPU集群通过GooseFS缓存加速，运行TensorFlow训练任务。

成本

存储成本:通过GooseFS缓存训练数据，无需单独部署独立的缓存系统。GooseFS以软件的形式，同计算集群混合部署，利用计算集群自身的内存和NvmeSSD缓存数据，在提高I0性能的同时，降低存储成本；

生态

GooseFS支持多种语义（HDFS，POSIX,S3），同时无缝对接大数据、AI训练、仿真平台；
通过Fluid，结合TKE容器服务，GooseFS缓存的数据可以按需自由调度到任意计算节点储

混合云

TStor OneCOS存储一体机，采用公有云COS一致架构，为客户在本地IDC提供海量、低成本对象存储服务。
同时，TStor OneCOS同公有云COS之间，数据可以自由流动，构建混合云AI训练平台储

应用场景-AIGC

客户需求

作为AIGC视觉设计初创公司，要求架构简单、满足业务快速迭代
在推理算力资源紧张的情况下，存储能够围绕算力就近提供服务

方案描述

采用GooseFS+COS方案，复用GPU本地盘资源，而又能与COS打通，满足不同AZ区的算力互通数据
万象与COS紧密结合，直接对输入和产出存储到COS数据的处理储

方案价值

COS桶作为数据底座，GooseFS高速缓存实现了客户在不同区域的数据同步
同时充分复用GPU本地盘资源，降低客户成本
万象作为COS存储的密切伙伴，同一套SDK即完成内容合规和数据处理的需求储

客户案例：某某教育

客户需求

在友商云中自建大数据集群，双减背景下要大幅裁减人力，降低
集群运行和维护成本
现有存算一体方案，计算和存储资源配比无法按需调整，存储占
用容量高导致节点数量无法缩减

方案描述

改造为ERM+COS存算分离方案，通过COS降低存储成本，通过
GooseFS缓存层和COS元数据加速提升数据访问性能
大量使用基于AMD的SA2低成本机型，仅部分节点部署GooseFS
Server，进一步降低方案总体成本

方案价值

计算集群总核数从7000+降低到5000+，叠加AMD机型和COS对象存储带来的成本降低，对比友商方案成本降低40%以上
90%以上数据读取通过GooseFS NVMe高速缓存完成，相比原SATA本地盘读取效率大幅提升，整体作业执行时间缩短20%

客户案例：某某音乐

客户需求

随着业务数据增长，大数据平台的数据读取耗时渐渐成为瓶颈
集群扩容不便，算力集群与存储集群规模扩容速度不一致，本地化模式无法做到真正按需扩

方案介绍

存算分离：通过存储计算集群解耦,解决扩容协调不一致问题;
底层存储:鉴于SPARK/PRESTO业务对元数据操作的性能要求，业务数据统一存储在CHDFS，保证元数据操作性能;
缓存加速：利用在计算端空闲SSD资源，部署缓存加速产品GooseFS,将热数据缓存于SSD,提供高速访问

方案价值

GooseFS集群规模216台，高速缓存数据量达460T,Presto 30%数据基于缓存SSD读取，提升数据读取效率35%
通过GooseFS缓存加速，降低超过100G的内网带宽,内网带宽成本降低20%;
2021年数据增长91%，计算集群增长60%，通过存算分离实现解耦并按需扩容，大数据平台成本降低20%以上储

客户案例：某某科技

某某科技是一家为金融、泛消费等行业的企业提供数字化运营解决方案的服务商。主要致力于依靠大数据，AI等技术手段，为企业建立“新型数据银行”、并提供新一代智能数据分析平台，因此数据分析平台和数据资源是燃数科技的核心资产

客户需求

在友商ECS自建CDH集群，随着业务发展，集群规模急剧增加，需降低整体业务系统运维成本并提升集群管理便捷性。冷热数据统一存储，成本高;集群统一扩容，不灵活。方案架构落后，无法构建数据湖

方案描述

迁移+改造为腾讯EMR+COS存算分离方案，EMR、COS等成熟产品和服务降低运维成本。
存算分离，计算灵活扩容，GooseFS NVMe高速缓存和COS元数据加速提升数据访问性能。
GooseFS 透明加速构建数据湖基础。六区SA3+ COS冷热分层降低成本

方案价值

计算资源充分利用、存储资源精细管理，对比友商成本降低30%以上95%数据缓存命中，整体作业执行时间缩短25%以上

客户案例：某某

某某是全球化的智能电动汽车品牌，于2014年11月成立，旗下主要产品包括蔚来EC6、蔚来ES8、蔚来ES6、蔚来EP9、蔚来EVE等。蔚来已经在NYSE上市，今年计划HK上市，国内电动车顶级品牌。目前年销量10W+，所卖车辆均属于高端电动车，主要卖点高科技智能驾舱，自动驾驶服务等，公司主打和建设L4级别全天候自动驾驶;今年公司发力欧洲和东南亚市场。

客户需求

视频文件原本放主机侧，本地硬盘存储成本高数据孤岛，EKS集群数据无法共享

方案描述

数据预处理:GooseFS单独集群根据客户Airflow调度算法加载提
前预热需要的COS上视频文件后给EKS Pod做图片处理（截帧，脱敏）后存放到COS自动驾驶训练:上海训练预处理服务产生图片库用COS跨区域复制到北京，由蔚来北京算法部门通过GooseFS提前预热图片进GPU进行自动驾驶训练和推理平台使用

方案价值

GooseFS作为统一数据中台进行数据预热加速训练预处理和自动驾驶训练业务，90%+以上数据命中在Cache，训练速度提高30%