电话咨询
微信咨询
MosaicML是一家专注于高效能大模型训练和部署的AI公司,公司的核心产品是MosaicML Training Platform和MPT(MosaicML Pretrained Transformer)系列开源大模型,在训练效率、成本控制、模型可复现性等方面拥有核心技术积累。
MosaicML是一家专注于高效能大模型训练和部署的AI公司,公司的核心产品是MosaicML Training Platform和MPT(MosaicML Pretrained Transformer)系列开源大模型,在训练效率、成本控制、模型可复现性等方面拥有核心技术积累。MPT系列包括MPT-7B、MPT-30B、MPT-160(主要在Databricks被收购前发布)等多个规格,均采用MosaicML自研的「Composer」训练框架和优化技术,在同等参数规模下实现了超越LLaMA的训练效率和模型性能。MPT系列完全开源(商业许可),且附带详细的训练配置文件和超参数设置,是全球AI研究者可复现大模型训练的重要参考。被Databricks收购后,MosaicML的技术深度整合到Databricks Lakehouse平台中,形成了「数据+AI」的一体化企业级解决方案。其训练优化技术(如ZeRO优化器、激活检查点、梯度累积等)现已成为全球大模型训练的标准最佳实践,为推动大模型技术的民主化做出了重要贡献。