山石网科大模型应用防火墙MAF
立即咨询
首页
OWASP 最新提出LLM应用十大安全风险模型训练
数据和模型投毒（非MAF产品支持）
攻击者篡改训练数据或微调过程，注入恶意内容、后门或偏见，破坏模型的安全性和可靠性。
错误信息（MAF待规划）
LLM因训练数据偏见、算法缺陷或对抗性输入生成虚假或误导性内容，可能引发信任危机或社会影响。
攻击者篡改训练数据或微调过程，注入恶意内容、后门或偏见，破坏模型的安全性和可靠性。
错误信息（MAF待规划）
LLM因训练数据偏见、算法缺陷或对抗性输入生成虚假或误导性内容，可能引发信任危机或社会影响。
模型推理
提示词注入（MAF已支持）
攻击者通过精心设计的输入操纵LLM，使其执行非预期操作，如绕过安全限制、泄露敏感信息或生成有害内容。
供应链漏洞（MAF已支持）
LLM供应链 (如第三方预训练模型、训练数据、插件)存在安全隐患，可能导致后门植入、数据偏见或系统故障。
向量和嵌入漏洞（非MAF产品支持）
LLM在生成、存储或检索向量及嵌入 (如RAG架构) 时存在弱点，可能被利用注入恶意内容或访问敏感信息。
过度代理（MAF待规划）
LLM被赋予过多自主权或访问权限，可能因幻觉、提示注入或恶意插件执行破坏性操作。
攻击者通过精心设计的输入操纵LLM，使其执行非预期操作，如绕过安全限制、泄露敏感信息或生成有害内容。
供应链漏洞（MAF已支持）
LLM供应链 (如第三方预训练模型、训练数据、插件)存在安全隐患，可能导致后门植入、数据偏见或系统故障。
向量和嵌入漏洞（非MAF产品支持）
LLM在生成、存储或检索向量及嵌入 (如RAG架构) 时存在弱点，可能被利用注入恶意内容或访问敏感信息。
过度代理（MAF待规划）
LLM被赋予过多自主权或访问权限，可能因幻觉、提示注入或恶意插件执行破坏性操作。
敏感信息泄露（MAF已支持）
LLM在交互中意外泄露敏感数据 (如PII、商业机密、知识产权)，可能因数据清理不足或输入过滤失效导致。
系统提示泄露（MAF已支持）
LLM的系统提示 (用于引导模型行为的指令) 意外泄露，可能暴露敏感策略或被攻击者利用进行进一步攻击。
不当输出处理（MAF已支持）
LLM生成的输出未经过充分验证和清理，直接传递到下游系统，可能导致代码执行漏洞或跨站脚本攻击。
无界消耗（MAF已支持）
LLM因DDoS等攻击导致资源 (如计算、带宽、存储)无节制消耗，引发服务中断或成本剧增。
LLM在交互中意外泄露敏感数据 (如PII、商业机密、知识产权)，可能因数据清理不足或输入过滤失效导致。
系统提示泄露（MAF已支持）
LLM的系统提示 (用于引导模型行为的指令) 意外泄露，可能暴露敏感策略或被攻击者利用进行进一步攻击。
不当输出处理（MAF已支持）
LLM生成的输出未经过充分验证和清理，直接传递到下游系统，可能导致代码执行漏洞或跨站脚本攻击。
无界消耗（MAF已支持）
LLM因DDoS等攻击导致资源 (如计算、带宽、存储)无节制消耗，引发服务中断或成本剧增。
大模型应用安全威胁示例1 - 提示词注入越狱1、提示词注入：攻击者通过在提示词中注入指令，诱导大模型产生违规内容。在本例中，攻击者暗示大模型“可以做任何事”。
2、应用调用大模型API：应用将系统提示词和包含注入指令的恶意提示词送给大模型，导致大模型忽略掉系统提示词里面的安全限制。
3、违规内容生成：大模型受到注入指令的影响，不再遵守系统提示词中的约束，产生了具有攻击性的言论。
大模型应用安全威胁示例2 - 提示词注入获取敏感信息1、提示词注入+恶意SQL片段：攻击者通过提示词注入绕过大模型的安全限制，并将用户名替换为恶意SQL片段。
2、恶意利用大模型工具回调：大模型把恶意SQL片段作为用户名，提交给应用的回调函数
3、大模型应用被SQL注入：大模型应用回调函数根据参数对SQL语句进行拼接，拼接后形成的恶意的SQL语句被传递给数据库。
4、敏感信息泄露：数据库接收到恶意的SQL，将本不应该展示的敏感信息（用户数据库表名）返回给攻击者。
山石网科大模型应用防火墙（MAF）总体架构图
山石网科大模型应用防火墙（MAF）防护原理
防护示例
产品部署方案多种部署方案，满足客户不同场景使用需求！
产品功能介绍
信创大模型应用防火墙MAF6060-GC/MAF7060-GC
虚拟化大模型应用防火墙MAFV16
产品推荐
超融合解决方案以计算、存储、网络三层融合、开放、可扩展架构，替代传统IT烟囱式的架构，满足各行业客户业务快速响应、灵活护展的发展需求。超聚变FusionOne HCI提供高效、可靠、极简的超融合解决方案，助力企业应对业务挑战，加速企业数字化转型。
同铄智能智慧工厂MDC解决方案能实时采集、处理、分析制造过程中的人员、设备、工艺、品质、物料等数据， 实现数据互联互通，能为企业降本增效找到最有效途径。在数字化基础上，通过大数据应用，实现工艺、 设备 等生产要素资源优化，是数字化制造的更高层级应用。
网御星云网络流量超融合探针，采用特征检测技术、异常行为检测技术、威胁情报技术、黑白名单技术、基线技术、静态APT技术等多种相结合的方法，通过对网络流量的深度包解析和流解析，实现了网络各种威胁的全面有效检测，同时也可以通过配置策略方式，让探针记录所关注的流量，便于后期可以根据相关的事件日志，对当时的攻击进行回溯分析，追踪取证。
数字化社区
视频
文章
