2025.12 第一版
15 大类,30 子类
安全治理/试金
上线前的自动化红队与风险评测,回答「这个 Agent 能不能上线」;产出上线门禁与准入报告,可直接作为合规申报材料;已在金融、汽车等行业的头部机构交付
15 大类,30 子类
30 大类,70 子类
37 大类,97 子类:模型内在安全能力、智能体安全与落地、长期运行安全
| 项目 | 内容 |
|---|---|
| 评测方式 | 全自动化,黑盒与白盒评测,一键报告与案例重放 |
| 方案依据 | 《生成式AI服务管理暂行办法》、WDTA AI-STR、OWASP LLM Top 10、顶会论文 121 篇 |
| 核心难点 | 风险高度动态:突发风险、政策更迭、模型迭代;黑盒白盒兼顾且自动化 |
| 产出 | 上线门禁、准入报告 |
| 对接 | 评测结果直接作为运行监控的策略基线,无需重复配置 |
评测体系随风险与政策持续更新
突发风险、政策更迭、模型迭代均纳入版本更新
| 对比维度 | 试金 ProspectScan | 传统人工红队 |
|---|---|---|
| 覆盖范围 | 37 大类 97 子类自动化覆盖 | 依赖专家经验,覆盖受人力限制 |
| 评测方式 | 全自动化黑盒与白盒,一键报告与案例重放 | 人工设计用例,周期长、不可重放 |
| 更新速度 | 半年三版,随风险与政策同步 | 一次性项目,难以持续更新 |
| 产出 | 上线门禁与准入报告,可作合规申报材料 | 测试报告,不接入上线门禁 |
| 与监控对接 | 评测结果直接作为运行监控策略基线 | 评测与监控各自独立,需重复配置 |
风险覆盖
规划意图探针,Skill 与工具扫描
泄漏意图探针,输出侧资产比对
动作意图探针在越权动作执行前拦截,Dynamic IAM 按风险动态收放权限
Skill / 插件 / MCP 描述与权限扫描,准入评测覆盖模型来源
准入评测识别投毒模型的异常行为
价值模型逐步打分,攻击消耗与路径浪费同一信号
准入评测覆盖误导类风险,动作意图探针识别欺骗性输出
System Prompt、RAG、Memory、Tool Schema
输出侧 RAG 引用判别与慢速拖库识别
动作意图检测,工具调用拦截
产业应用
头部汽车品牌(汽车)
第三版风险评测体系覆盖模型内在安全能力、智能体安全与安全落地、长期运行安全,37 大类 97 子类
| 从评测到监控 | 车载 Agent 直接连接车辆控制,上线前必须回答「能否上线」;准入报告作为上线门禁,评测结果直接作为运行监控的策略基线 |
来源 项目交付记录
国有大型银行(金融)
金融 Agent 直接连接账户与资金,监管对上线准入有明确要求;评测覆盖模型内在安全能力与智能体安全落地两大类
| 评测之后:持续监控 | 一次性评测回答「能不能上线」,运行监控回答「上线之后是否持续可控」;两者共用同一套探针底座与风险分类,评测结果可直接作为监控策略 |
来源 项目交付记录
落地案例实录
来自真实智能体失控案例的实录,每一例都可由本产品复现与覆盖;点击可放大观看