腾讯云自动驾驶模型训练存储解决方案
首页
自动驾驶（AV/ADAS）开发 Workflow
腾讯云自动驾驶（AV/ADAS）存储解决方案提供自动驾驶数据采集、存储、标注、计算，算法训练、仿真和评测及基于数据回传的算法迭代等全流程服务。
数据采集和上传 data acquisition and ingest数据的采集和上传通常采用两种模式：车载硬盘回传到本地数据中心，原始数据先上传到本地存储，之后在通过专线上云；腾讯云提供从物流到数据拷贝的端到端服务，车载硬盘邮递到机房接入点，由腾讯云工作人员直接将数据上传到云端；单路带宽32Gbps，充分使用到NVME的带宽，理论写入高达1800MB/s ；支持PCIE3.0，适配多种工控机；单个硬盘盒32TB，车端放置2个硬盘盒合计64TB容量。将写满数据的车载采集系统的SSD盘（以私有格式存储）拔下；采用专用包装箱子，防震保护，且箱子支持上锁。寄送至腾讯云在全国Region的机房接入点；由接入点工作人员进行数据拷贝。腾讯云各接入点与内网联通，通过腾讯内部骨干网进行数据集中收集。
数据处理和分析 data processing and analytics检测数据完整性，去除低质量数据，进行数据格式的转换，抽帧。补充和丰富其他数据，天气，地理信息等。
数据标注，构建高精地图 Data labeling, map development通过大数据和ML进行数据标注，场景搜索和索引，提取地图信息并更新高精地图。用机器学习来自动标注数据，包括Object detection，Object Tracking，semantic segments，形成原始训练数据集；对数据集进行深度验证，形成最终训练数据集；可以根据Metadata，进行特定场景搜索；通过ML，提取地图信息，更新高精地图。
模型算法训练 model and algorithm development标注的数据通过缓存加速后，进行模型训练。训练后的模型通过模拟仿真、测评后，通过OTA发布。数据集包括海量小图片和标注信息，每个训练迭代，需要把对应的数据集load到全局缓存中，提高训练效率；模型规模大（上亿参数）需要采用集群训练（多台8卡GPU），目前主流是NVIDIA A100/V100；训练框架以TensorFlow，PyTorch为主；模型需要通过模拟仿真、测评平台，进行软件在环，硬件在环，车辆在环测试；测评后的模型，通过OTA进行发布。
模拟仿真、验证 simulation and validation训练后的模型，需要经过一系列模拟仿真来验证模型，通常软件在环（SIL）在云上进行，硬件在环（HIL）在本地数据中心进行。软件在环：处理后的场景数据作为输入，通过软件模拟各种传感器，在模型训练早期，快速验证模型；硬件在环：以路采的原始输入作为输入，通过工具对原始数据进行回放来模拟各种传感器输入，在模型训练后期，接近真实环境验证模型。
腾讯云车联网V2C（Vehicle to Cloud）解决方案提供车联网 V2C 实时数据接入、解码、转换、分析、消费、存储等服务，为模型训练，高精地图等业务提供最新的数据。
腾讯云高精地图 HDMAP 解决方案腾讯云提供HDMAP TCE 专有云/私有云方案，方案包括存储层、中间件、业务层，并结合公有云的V2C、OTA服务，形成数据采集上传，高精地图生产、下发端到端的解决方案。HDMAP需要满足合格要求，基于腾讯云TCE方案，部署在客户专有云/私有云中；量产车通过V2C上传数据，经过传输加密通道进入HDMAP业务系统，数据被处理后用来完善HDMAP数据；HDMAP通过OTA服务更新地图信息到量产车。
模型训练加速 – 什么是GooseFS计算端缓存加速：多协议支持：HDFS/FUSE/S3，云原生： 容器化部署/EMR集成 ，多级缓存：RAM/SSD/HDD，云生态：云监控/云日志/统一鉴权。
GooseFS(Cache Accelerator) – 在计算端，提供数据缓存加速能力Data Cache:支持Prefix Level预热，按目录加速；支持多种数据缓存淘汰策略，LRU/LRFU/TTL；支持缓存数据同步/异步写入COS。Metadata Cache：避免了大量的list operations；提高了Metadata 访问性能。
GooseFS： Namespace，同一个GooseFS集群可以加速多个Bucket
GooseFS：每个Namespace，可以设置独立的Write/Read Type Policy
GooseFS ：完善的运维、监控能力GooseFS 提供 部署、安全、监控、告警等全流程运维能力以及对应工具。
Goosefs：全托管服务，降低运维门槛
GooseFS ：控制台GooseFS 提供托管集群和容器集群控制台；涵盖集群创建、集群管理、任务管理、性能监控等全流程UI界面。
GooseFS ：日志管理GooseFS 的 Master 和 Worker 节点，以及 Spark 等计算框架通过 GooseFS Client 请求 GooseFS 时，都会记录请求日志，用户可对输出日志进行分析，进行问题排查。
GooseFS ： Prometheus+Grafana监控Goosefs 监控指标记录了客户端、集群、Master 节点、 Worker 节点、进程的运行状态，可以通过配置将指标数据输出到不同的监控系统中。
自动驾驶数据存储 – 对象存储 COS自动驾驶数据存储 – TStor OneCOS 存储一体机TStor - OneCOS（Yotta Store） 是采用腾讯云COS相同架构，针对大规模对象存储场景推出的海量分布式对象存储。支持任意多副本及纠删码的冗余模式并存，支持原生多 AZ 容灾。在大幅提升系统可用性、可靠性及性能的同时，大幅度降低存储成本。
自动驾驶数据存储 – TStor X2000 存储一体机
客户案例：蔚来汽车蔚来是全球化的智能电动汽车品牌，于2014年11月成立，旗下主要产品包括蔚来EC6、蔚来ES8、蔚来ES6、蔚来EP9、蔚来EVE等。蔚来已经在NYSE上市，今年计划HK上市，国内电动车顶级品牌。目前年销量10W+，所卖车辆均属于高端电动车，主要卖点高科技智能驾舱，自动驾驶服务等，公司主打和建设L4级别全天候自动驾驶；今年公司发力欧洲和东南亚市场。
客户案例：BoschETL：对原始采集数据进行预处理，借助于大数据平台，GooseFS通过HDFS接口访问数据，大文件读，小文件写，高带宽；Labeling：对预处理后的数据进行标注，借助AI自动化平台、或人工平台，GooseFS通过POSIX接口访问数据，小文件写，低时延；Training：对标注后的训练集数据进行自动驾驶模型训练，借助训练平台，GooseFS通过POSIX接口访问数据，小文件读，高IOPS，低时延；Scenario Repo：通过预处理后的数据来模拟特定场景，验证感知算法，GooseFS通过POSIX接口访问数据，大文件读，高带宽；Endurance Run：通过使用原始数据回放来进行仿真，验证自动驾驶模型算法，GooseFS提供POSIX接口访问数据，大文件读，高带宽。
客户案例：BoschGooseFS Master：独立部署 3 节点部署（1个Leader，2个Followers），保障集群高可靠，机型参考腾讯云 CVM IT5；GooseFS Worker：同业务混合部署在一起，为计算节点提供高速缓存服务，机型参考腾讯云黑石 A100；GooseFS Client：同业务混合部署在一起，为计算节点上的训练业务提供POSIX接口。
客户案例：鉴智机器人，基于GooseFS+COS打造全生命周期AI训练方案自动驾驶初创明星企业，创立2个月内就获得数千万美元融资
产品推荐
