首页 
百度文心一言ERNIE 5.5 Flash Base是百度于2026年11月5日正式开源的最新基座模型。该模型采用稀疏MoE架构，总参数280B、每token激活14B，在33.5万亿token语料上从零完成预训练，最长训练上下文为128K，微调与推理阶段支持最长100万token上下文。架构层面，模型共43层Transformer，其中37层采用重度压缩注意力HCA（每128个token仅缓存一条），其余6层采用MLA配合稀疏注意力DSA；专家路由采用Multi-Router Latent MoE，由512个路由专家中每token选择10个并附加1个共享专家；训练目标引入ECHO机制，复用主干最后一层学习预测后续token，该层在推理时可作投机解码的草稿模型。官方称模型在知识、推理、数学、代码、多语言和长上下文等30项基准评测中取得同尺寸开源基座中的领先表现。本次发布的是预训练终点权重，未经中训练与后训练，FP8与BF16两版权重已上线开源模型社区，采用ERNIE 5.5 Flash Base Model License Agreement v1.0许可。经过后训练的ERNIE 5.5 Flash将随后推出。
📋 技术规格
| 厂商 | 百度 文心一言 |
|---|---|
| 模型分类 | 对话与文本生成 |
| 参数规模 | 280B总参数，14B激活参数（MoE架构，43层Transformer） |
| 上下文窗口 | 预训练最长128K token，微调与推理支持100万token |
| 最大输出 | 未公开 |
| 知识截止 | 未公开 |
| API定价 | 输入: 未公开（开源权重可自行部署，后训练版API定价待发布）输出: 未公开（开源权重可自行部署，后训练版API定价待发布） |
⭐ 核心能力详解
预训练终点权重开放
提供未经中训练与后训练的Base权重，支持社区自行探索领域适配、推理强化和Agent训练路线
Latent-Gated Sparse Attention
43层中37层采用HCA重度压缩注意力，每128个token仅缓存一条，显著降低长上下文KV cache开销
Multi-Router Latent MoE
多个独立路由器共同参与专家选择，降低单一评分偏差，512个路由专家每token选10个
ECHO训练目标
复用主干最后一层预测未来token，无需额外MTP模块，推理与代码能力提升，并涌现投机解码多步外推能力
FP8与BF16双版本
两版精度权重均已上线开源模型社区，提供基于SGLang与vLLM的完整部署示例
🎯 典型应用场景
企业领域适配：基于Base权重微调行业专用模型（金融、医疗、法律等）
推理强化研究：在统一预训练终点上进行RL与后训练方法对照实验
Agent训练：以Base权重为起点训练长程智能体与工具调用能力
长上下文应用：利用100万token推理上下文处理超长文档分析
本地化部署：FP8/BF16权重配合SGLang、vLLM或Megatron-Bridge自建服务
💪 技术优势与差异化
- 280B-A14B的同尺寸稀疏度设计，部署成本低于同量级稠密模型
- 100万token推理上下文在开源基座中处于领先档位
- 官方公开30项基准的同口径对比评测，研究基线明确
- FP8与BF16双精度权重同步发布，覆盖推理与训练两类需求
⚠️ 使用局限与注意事项
- Base权重未经后训练，直接使用需自行完成指令微调与对齐
- 商用许可为自定义协议（v1.0），非Apache 2.0或MIT类宽松许可
- 后训练正式版尚未发布，对话与Agent能力暂需自行构建
- 280B总参数对中小团队本地部署仍有显存门槛
- 评测成绩为厂商自报口径，第三方独立复测结果待观察
💰 价格分析与成本建议
ERNIE 5.5 Flash Base以开源权重形式发布，本身不涉及API调用费用，使用成本主要来自推理算力：280B-A14B稀疏激活设计使单token计算量接近14B稠密模型，配合HCA注意力对KV cache的128倍压缩，长上下文推理成本可控。FP8版本可进一步降低显存与算力开销。百度后续发布的后训练版API定价可能另有档位，请以官方为准。
👥 适用人群与企业
大模型研究人员、企业AI平台团队、行业模型微调开发者、开源社区贡献者、需要自建推理服务的机构
🏭 行业适配度评估
Base权重适合构建行业专属模型，数据可完全本地化
⚠ 需投入后训练与对齐工程
统一checkpoint与同口径评测利于方法对照研究
⚠ 算力门槛需评估
本地部署满足数据不出域要求
⚠ 自定义许可需法务确认商用条款
可直接微调落地垂直场景
⚠ 等待后训练正式版可能更省成本
🔧 技术架构解析
| 架构 | 43层Transformer，37层HCA（128:1 KV压缩）+6层MLA-DSA |
|---|---|
| 专家路由 | Multi-Router Latent MoE，512路由专家每token选10个+1共享专家，2048维隐空间计算 |
| 输出头 | MultiMax可学习分段温度输出头，降低预训练loss且不增加显存 |
| 训练目标 | ECHO单步预训练，主干最后一层兼任投机解码草稿模型 |
| 预训练 | 33.5T tokens从零预训练，分布式Muon优化器+FP8混合精度 |
| 分词器 | 全新BPE词表约200K，数字从右到左、三位一组切分 |
🔒 安全合规与数据隐私
| 数据训练策略 | 预训练语料覆盖网页、代码、长文档等方向，具体构成见官方技术博客 |
|---|---|
| 合规认证 | 自定义开源许可v1.0、模型卡与部署文档公开、Base权重不含后训练对齐层 |
| 数据驻留 | 开源权重可完全本地化部署，数据不出企业环境 |
| 加密方式 | 未公开 |
⚔️ ERNIE 5.5 Flash Base与同类开源基座对比
| 竞品模型 | 优势 | 不足 |
|---|---|---|
| DeepSeek V4-Flash-Base | MIT许可宽松，社区生态成熟 | 发布时间较早，同尺寸评测中部分项目落后 |
| 腾讯混元Hy3-preview-Base | 腾讯生态适配完整 | 许可与文档开放度不一 |
| 小米MiMo-V2.5-Base | 参数规模小，本地部署门槛低 | 能力上限低于280B级基座 |
- 30项基准同口径对比公开
- 100万token推理上下文
- FP8+BF16双版本
- ECHO投机解码设计
🏢 同厂商模型矩阵
百度文心模型矩阵覆盖闭源API与开源权重两条线
| 模型 | 定位 | 品类 | 特色 |
|---|---|---|---|
| ERNIE 5.5 Flash Base当前 | 开源基座 | chat | 280B-A14B，2026年11月开源 |
| 文心5.1 | 闭源旗舰 | chat | 2026年7月发布 |
| ERNIE-4.5-300B-A47B | 上一代开源 | chat | 2026年6月开源 |
🧭 选型决策指南
预训练底座完整，30项基准基线明确
Base权重需自行完成对齐
MIT许可限制更少
参数规模更小
🏆 真实使用案例
📌 某行业模型团队基于Base权重做领域微调
📌 某研究机构开展后训练方法对照实验
💬 用户真实评价
ECHO设计让投机解码不用额外训MTP模块，部署时草稿模型直接复用，工程上省事。
280B激活14B的稀疏度让推理成本可控，但Base版要自己补齐对话能力，落地周期要预留。
30项基准同口径对比表很良心，做二次训练对照实验方便，许可协议比MIT严格一些。
✅ 实践建议与使用技巧
💡 Prompt工程建议
Base模型先做SFT
Base权重未对齐，直接对话效果差，先准备指令数据完成监督微调
长上下文分块验证
百万token推理上下文建议先在小规模文档上验证检索与摘要质量
FP8推理BF16训练
推理部署选FP8权重降低显存，继续预训练或微调选BF16保证数值稳定
🔄 替代方案分析
Base权重需自行后训练
ERNIE许可为自定义协议
280B对硬件要求较高
2026-07-24
