山石网科大模型应用防火墙MAF_大模型API安全防护系统_大模型合规审计防火墙系统-云巴巴

山石网科大模型应用防火墙MAF

山石网科大模型应用防火墙 MAF，作为大模型 API 安全防护与合规审计防火墙系统，全面应对合规与监管、系统安全、模型运行三大风险。遵循 TC260-003 标准，覆盖涉政、色情、暴恐等 29 类违规内容及 PI 信息泄露风险。精准防御提示词注入、第三方组件漏洞、API 知识产权窃取等威胁，构建请求与响应双重防护，全流程保障大模型应用安全、合规、稳定运行。

立即咨询

OWASP 最新提出LLM应用十大安全风险 icon

模型训练

数据和模型投毒（非MAF产品支持）
攻击者篡改训练数据或微调过程，注入恶意内容、后门或偏见，破坏模型的安全性和可靠性。
错误信息（MAF待规划）
LLM因训练数据偏见、算法缺陷或对抗性输入生成虚假或误导性内容，可能引发信任危机或社会影响。

模型推理

提示词注入（MAF已支持）
攻击者通过精心设计的输入操纵LLM，使其执行非预期操作，如绕过安全限制、泄露敏感信息或生成有害内容。
供应链漏洞（MAF已支持）
LLM供应链 (如第三方预训练模型、训练数据、插件)存在安全隐患，可能导致后门植入、数据偏见或系统故障。
向量和嵌入漏洞（非MAF产品支持）
LLM在生成、存储或检索向量及嵌入 (如RAG架构) 时存在弱点，可能被利用注入恶意内容或访问敏感信息。
过度代理（MAF待规划）
LLM被赋予过多自主权或访问权限，可能因幻觉、提示注入或恶意插件执行破坏性操作。

敏感信息泄露（MAF已支持）
LLM在交互中意外泄露敏感数据 (如PII、商业机密、知识产权)，可能因数据清理不足或输入过滤失效导致。
系统提示泄露（MAF已支持）
LLM的系统提示 (用于引导模型行为的指令) 意外泄露，可能暴露敏感策略或被攻击者利用进行进一步攻击。
不当输出处理（MAF已支持）
LLM生成的输出未经过充分验证和清理，直接传递到下游系统，可能导致代码执行漏洞或跨站脚本攻击。
无界消耗（MAF已支持）
LLM因DDoS等攻击导致资源 (如计算、带宽、存储)无节制消耗，引发服务中断或成本剧增。

大模型应用安全威胁示例1 - 提示词注入越狱 icon

1、提示词注入：攻击者通过在提示词中注入指令，诱导大模型产生违规内容。在本例中，攻击者暗示大模型“可以做任何事”。
2、应用调用大模型API：应用将系统提示词和包含注入指令的恶意提示词送给大模型，导致大模型忽略掉系统提示词里面的安全限制。
3、违规内容生成：大模型受到注入指令的影响，不再遵守系统提示词中的约束，产生了具有攻击性的言论。

大模型应用安全威胁示例2 - 提示词注入获取敏感信息 icon

1、提示词注入+恶意SQL片段：攻击者通过提示词注入绕过大模型的安全限制，并将用户名替换为恶意SQL片段。
2、恶意利用大模型工具回调：大模型把恶意SQL片段作为用户名，提交给应用的回调函数
3、大模型应用被SQL注入：大模型应用回调函数根据参数对SQL语句进行拼接，拼接后形成的恶意的SQL语句被传递给数据库。
4、敏感信息泄露：数据库接收到恶意的SQL，将本不应该展示的敏感信息（用户数据库表名）返回给攻击者。