大数据是传统互联网客户的核心业务，是产业互联网数字化转型必由之路，公有云厂商都在加速布局。

某短视频客户，每天线上有上亿的访问量，大量的日志离线和实时作业。主集群已突破千台的规模, 有着超 过100PB的数据量，每日的增量大概在200TB。每天的作业数达到了20万，给存储和计算带来了很 大的挑战。

某电商客户，大数据集群达到1500+台，已使用30+PB的空间，每天运行的任务量接近40万。 在凌晨计算高峰期，最大并发请求量为3万+QPS。

某旅游业客户，每天需要处理的业务日志量大约300亿条，约50TB的数据量。要保证在稳定的低延 时情况下工作，快速迭代计算出结果并反馈到线上业务系统中。如何保证数据的可靠性以及低延时，就成 了整个系统开发和运维工作中的重中之重。

客户希望云厂商能够解决大数据场景下的性能、成本、运维等问题

HDFS性能抖动、时延大，业务经常失败；HDFS扩容周期长，存储压力大；HDFS三副本，存储成本高；HDFS停机维护，导致业务无法按时完成

数据增长带来硬件扩容，一次性投资增加；资源利用率不高，缺乏弹性；

运维工作量大，响应不及时；业务数据处理时间不可控；成本持续增加，财务和业务部门抱怨

针对大数据分析场景，需要COS提供性能加速能力

腾讯云在大力推广数据湖解决方案，帮助客户技术转型。面向大数据业务场景：推荐系统，数字化运营，用户行为分析，风控系统，预测系统。 方案价值：云原生：serverless架构，免运维；流批一体：通过Table Format（Delta Lake，Hudi，Iceberg）支持流批一体；数据共享：打通大数据、AI、BI，消除数据孤岛；高性价比：弹性、按需扩容； 一站式：多元化的数据分析引擎。

计算端缓存加速：多协议支持：HDFS/FUSE/S3；云原生： 容器化部署/EMR集成；多级缓存：RAM/SSD/HDD；云生态：云监控/云日志/统一鉴权。

运行在EMR/AI/ML/K8S集群内，基于集群 MEM/SSD资源，提供Data Cache能力；热数据缓存在Cache中，COS保存全量数据；针对各种计算引擎，提供Data Locality能力。

AZ级部署，全SSD存储介质，对COS热数据 做读加速；提供Tbps带宽，满足高吞吐需求；提供ms级别时延。

提供文件系统级别元数据操作能力；Rename操作，无需Copy/Delete数据；List操作，无频控；每个Bucket，提供10万 QPS。

Data Cache: 支持Hive Table Level预热，面向业务加速；支持Iceberg Table Leve预热；支持Prefix Level预热，按目录加速；支持多种数据缓存淘汰策略， LRU/LRFU/TTL；支持缓存数据同步/异步写入COS； Metadata Cache：避免了大量的list operations；提高了Metadata 访问性能。

GooseFS Master: 部署在EMR Master节点，HA部署方式，Master高可靠；一个Master作为Leader，其他Master Standby；通过shared journal确保数据一致性；RocksDB作为Metadata Store，支持海量inode； GooseFS Worker: 每个EMR Core Node部署一个 GooseFS Worker；支持Data Locality；根据计算引擎的调度来Cache对应的 业务数据。

GooseFS Master:部署在Master节点，HA部署方式， Master高可靠； 一个Master作为Leader，其他Master Standby；通过shared journal确保数据一致性；RocksDB作为Metadata Store，支持海量inode； GooseFS Worker:每个GPU Worker Node部署一个 GooseFS Worker 同TF Worker部署 在一个Node；支持Data Locality；根据计算引擎的调度来Cache对应的 业务数据。

GooseFS Master:HA部署方式，Master高可靠； 一个Master作为Leader，其他Master Standby；通过shared journal确保数据一致性；RocksDB作为Metadata Store，支持海量inode； GooseFS Worker:通过DaemonSet，确保每个TKE Worker Node部署一个GooseFS Worker Pod；支持Data Locality；根据计算引擎的调度来Cache对应的业务数据。

提供文件系统级别元数据能力，加速 Rename、List等操作，解决大数据、AI业务在对象存储上的元数据QPS瓶颈问题。主要特性：文件系统级别元数据操作；提供Rename API，Rename无需Copy / Delete数据，直接在Metastore完成；List、Head操作，直接查询Metadate Store，避免对象存储QPS问题；性能：10万 QPS； Limitations：支持10亿级别Objects数量；Enable元数据后，不支持部分COS功能特性（详见产品帮助文档）；需要创建新Bucket，不支持存量 Bucket；新Bucket Enable元数据加速后，不支持Disable。

COS Acceleration：Cache Accelerator + Data Accelerator + Metadata Accelerator * 在miss cache的情况下，后端存储提供 10 万QPS 的能力

借助 TStor 对象存储一体机数据自动上云能力，GooseFS在云上、云下提供统一的数据加速平台。IOT数据（车载数据、摄像头数据）上传 到本地数据中心TStor对象存储；本地大数据集群通过GooseFS加速数据 访问，完成数据清洗和标注，生成训练 数据集；TStor自动同步训练数据集到云上COS对 象存储；在云上按需拉起GPU训练集群，通过 GooseFS加速，完成AI模型训练。

训练集群配置： 10 台黑石。黑石配置: 96c, 384g, Nvme-SSD-3.2TB * 4, V100-32GB * 8； 单个训练任务：单机8卡一次训练24小时，可以处理3亿张图片，每张图片 100KB，100 epochs，每个epoch处理300GB数据，数据总吞吐30TB。