MosaicML

MosaicML是一家专注于高效能大模型训练和部署的AI公司，公司的核心产品是MosaicML Training Platform和MPT（MosaicML Pretrained Transformer）系列开源大模型，在训练效率、成本控制、模型可复现性等方面拥有核心技术积累。MPT系列包括MPT-7B、MPT-30B、MPT-160（主要在Databricks被收购前发布）等多个规格，均采用MosaicML自研的「Composer」训练框架和优化技术，在同等参数规模下实现了超越LLaMA的训练效率和模型性能。MPT系列完全开源（商业许可），且附带详细的训练配置文件和超参数设置，是全球AI研究者可复现大模型训练的重要参考。被Databricks收购后，MosaicML的技术深度整合到Databricks Lakehouse平台中，形成了「数据+AI」的一体化企业级解决方案。其训练优化技术（如ZeRO优化器、激活检查点、梯度累积等）现已成为全球大模型训练的标准最佳实践，为推动大模型技术的民主化做出了重要贡献。