360大模型安全解决方案_360智鉴大模型系统安全检测平台_360智盾大模型内容安全防护系统-云巴巴

立即咨询

立即试用

商务合作

360大模型安全解决方案

360 大模型安全解决方案，整合 360 智鉴系统安全检测与智盾内容安全防护。提供大模型漏洞扫描、输出内容合规审查，集成风险预警、异常行为监测及全链路防护，适配大模型全生命周期安全需求。是大模型安全优选方案。

立即咨询

大模型系统落地应用过程中的安全问题 icon

模型环境漏洞

大模型训练和推理过程中使用的生态链工具存在漏洞，成为黑客攻击的目标。

生成恶意内容

大模型的输入输出内容存在政治敏感、暴力违禁、色情低俗等不良内容。

生成错误信息

大模型自身的幻觉问题导致容易生成错误信息，降低模型的可用性。

Agent流程失控

Agent变得更加自主，难以控制，嵌入到业务工作流中，可能会对业务安全带来新的隐患。

构建企业级大模型的“安全四原则” icon

安全

训练工具安全可靠部署运营环境安全

向善

输入输出内容安全大模型价值观对齐

可信

输出结果即时性好输出结论准确度高

可控

业务流程安全可控模型效果持续迭代

大模型生态链面临的风险 icon

360智鉴-大模型系统安全检测体系（AISE） icon

360智鉴产品优势

全链路

覆盖大模型生命周期四大阶段
支持近百个组件的600+已公开漏洞
涵盖20种常见安全问题

多场景

支持RAG上下游软件供应链安全审计
支持Agent规划与工具的安全性分析
支持Prompt管理的安全性

易扩展

自然语言导致代码执行
记忆/缓存投毒
持久性提示劫持

LLM时代漏洞扫描的革新之路 icon

传统漏洞扫描

直接攻击检测：攻击代码植入→漏洞触发
特征库来源：CVE公开漏洞库为主
场景适配：通用型检测，场景定制成本高。

LLM时代新型攻击

提示词诱导→模型生成攻击代码
GitHub开源项目成为新风险源（+10-20%）
RAG/Prompt等细分场景风险激增。

360智鉴

提示词攻击预判引擎CVE+开源情报双源特征库
场景化检测模组（RAG/Prompt专用沙箱）

大模型内容安全面临的挑战 icon

价值观错误

部分开源大模型境外训练语料过多，容易存在歧视偏见、色情低俗、违禁暴恐等言论，并透过互联网算法服务输出给社会，危害公共安全。

提示注入攻击

不法分子通过在提问中注入攻击指令，绕过大模型服务的防御机制，诱导大模型生成违法违禁等不良行为实施细则，容易导致信息泄露、危害公共安全等严重后果。

行业合规安全

大模型在垂直行业应用过程中也存在特定的安全隐患，例如金融领域的理财建议可能有误导性，医疗领域提供的治疗方法可能是未经验证的，教育领域可能用于提供作弊的工具。

Deepseek被越狱攻击攻破，生成风险内容 icon

360智盾-大模型内容安全护栏系统（AISG） icon

360智盾-大模型内容安全护栏交互流程 icon

干预回复接口

以Restfu1 API的形式提供干预回复的能力，输入是待敏感输入，
输出是干预库里预设的标准回答。

风险检测接口

以Restful API的形式提供风险检测的能力，输入是待检测的内
容（模型输入/模型输出），输出的是检测结果和处置建议（resu1t.suggest）

安全代答接口

以Restful API的形式提供敏感问题安全代答的能力，输入的是
prompt（经风险检测模块判别为敏感REVIEW），输出的是安全回复大模型的生成结果预

护栏管理平台口

干预库管理
敏感词库管理（黑名单/白名单）
风控引擎管理（风险尺度调控）
账户管理预

360智盾-内容安全护栏产品优势 icon

全流程内容安全保障

输入风险识别
敏感问题安全代答
输出风险实时过滤
事后内容风险回溯

多模态风险内容识别

文本风险内容识别
图片风险内容识别
音频风险内容识别
视频风险内容识别。

多种类风险内容识别

传统内容风险100+种
对抗内容防御手段200+种
风险识别范围完全覆盖《生成式人
工智能服务管理暂行办法》

检测识别准确率高

敏感词库：1000万+
分类准确率：90%以上
识别正确率：90%以上
自动化评测人工一致率：90%以上

360智盾-大模型内容安全护栏服务器配置 icon

360智盾-大模型内容安全评测平台 icon

360智盾-大模型内容安全评测平台 icon

360智盾-大模型内容安全评测平台服务器配置 icon

360智盾-大模型备案服务 icon

与无缝集成功能复用统一管理混合编排

需要备案的情况
《生成式人工智能服务管理暂行办法》第十七条和第二十二条的要求，提供具有舆论属性或者社会动员能力的生成式人工智能服务的企业都需要做算法备案和大模型备案。建议以下类型企业做大模型备案：
模型是属于自研、或是基于开源模型二次微调或魔改过、有较多
训练数据的。
企业规模较大或模型服务应用程序规模较大的。
以生成式人工智能为经营主业、需要做商业宣传使用企业。
所在地有针对通过备案有相应补贴政策的。
地方网信办、工业和信息化局等相关部门通知或推荐的企业。
自评估标准
《生成式人工智能服务安全基本要求》(TC-260)
备案通过公示平台
互联网信息服务算法备案系统

大模型可信安全风险

360智搜结果信息量更加丰富 icon

360智搜-大模型可信增强（AISO） icon

传统搜索

关键词匹配和短文本语义匹配
短摘要片段，语义不完整
依赖用户行为反馈
抓取公开网页内容
优化全网覆盖率

AISO

长文本拆段语义召回
基于全文和query的AI摘要生成
侧重全文语义匹配
引入多领域精品知识库
定向抓取，提高领域知识覆盖率

基于360智搜搭建幻觉检测Agent，检测大模型生成质量 icon

幻觉检测Agent+专项优化，智脑在通用场景下的幻觉比例下降50%以上

大模型可控安全风险

360智控-AI安全控制框架（AISC） icon

通过原生安全的AI Agent可控框架对大模型的场景进行统一编排调用，在Agent可控框架中原生设置安全措施，保证大模型的“手和脚”可控，把大模型能力关在笼子中，解决大模型不可控的问题。

数据可控安全校验

提示过滤与参数校验，防止有害输入干扰模型动作，并对关键结果进行人工审核，同时限制模型调用次数，监控异常模式，防止数据盗取。

数据加密与隔离

本地化部署或联邦学习，避免裸数据上云;通信加密和凭据加密存储，并严格认证授权，隔离不同用户数据，同时，审计数据访问，及时发现泄漏迹象。

细粒度权限控制

请求数据/签名校验，确保来源可信;上下文完整性校验（哈希比对）;多租户隔离，最小权限配置。

关键动作，人工审批

对于在大模型调用第三方组件过程中失控概率高、危害程度大的关键动作（例如断电、机器启动等），需要经过人工审批，并持续验证，保证关键动作的可控。

案例分享：大模型安全护栏保障省政务大模型内容安全 icon

背景及需求

面向省级智慧政务场景，包括政务问答、智能写作、数字员工等。
360智脑大模型安全护栏实时检测识别各业务场景的有害输入输
出内容，并为敏感问题提供安全代答功能，有效保证大模型落地
精准识别不良数据场景应用过程的内容安全

当前落地效果

精准识别不良数据

海量敏感词库动态更新，风险覆盖率高，业务回复安全率99%以上。
日均检测违规不良内容1000余条，拒答100余条，安全代答900余条。
结合风险检测大模型，识别准确率99%以上，拒识率低于0.1%，有效兼顾业务安全性和有用性。

案例分享：360智盾支撑网信办大模型安全监测 icon

背景及需求

某网信办委托360智盾进行大模型的安全评估，旨在确保这些模型在处理敏感信息和政策相关内容时的合规性。360智盾通过自有的安全监测体系，对多个大模型厂商的生成内容进行全面评估。通过构造攻击样本，360智盾帮助网信办识别模型在处理复杂问题时可能存在的安全隐患，评估其在应对敏感话题时的风险和漏洞，为后续的安全防护措施提供数据支持和决策依据。

当前落地效果

大模型内容安全监测

前后进行100多次模型安全评估，10+次大模型内容安全监测专项。

评测体系