安全治理/试金

试金ProspectScan 上线前

上线前的自动化红队与风险评测,回答「这个 Agent 能不能上线」;产出上线门禁与准入报告,可直接作为合规申报材料;已在金融、汽车等行业的头部机构交付

评测体系半年三版,随风险与政策同步更新

2025.12 第一版

15 大类,30 子类

2026.03 第二版

30 大类,70 子类

2026.06 第三版

37 大类,97 子类:模型内在安全能力、智能体安全与落地、长期运行安全

能力与产出

项目内容
评测方式全自动化,黑盒与白盒评测,一键报告与案例重放
方案依据《生成式AI服务管理暂行办法》、WDTA AI-STR、OWASP LLM Top 10、顶会论文 121 篇
核心难点风险高度动态:突发风险、政策更迭、模型迭代;黑盒白盒兼顾且自动化
产出上线门禁、准入报告
对接评测结果直接作为运行监控的策略基线,无需重复配置

评测体系随风险与政策持续更新

突发风险、政策更迭、模型迭代均纳入版本更新

试金与传统人工红队的区别

对比维度试金 ProspectScan传统人工红队
覆盖范围37 大类 97 子类自动化覆盖依赖专家经验,覆盖受人力限制
评测方式全自动化黑盒与白盒,一键报告与案例重放人工设计用例,周期长、不可重放
更新速度半年三版,随风险与政策同步一次性项目,难以持续更新
产出上线门禁与准入报告,可作合规申报材料测试报告,不接入上线门禁
与监控对接评测结果直接作为运行监控策略基线评测与监控各自独立,需重复配置

对照 OWASP GenAI / LLM Top 10(2026),十项全部覆盖

LLM01Prompt Injection

规划意图探针,Skill 与工具扫描

LLM02Sensitive Information Disclosure

泄漏意图探针,输出侧资产比对

LLM03Excessive Agency

动作意图探针在越权动作执行前拦截,Dynamic IAM 按风险动态收放权限

LLM04Supply Chain

Skill / 插件 / MCP 描述与权限扫描,准入评测覆盖模型来源

LLM05Data and Model Poisoning

准入评测识别投毒模型的异常行为

LLM06Unbounded Consumption

价值模型逐步打分,攻击消耗与路径浪费同一信号

LLM07Misinformation

准入评测覆盖误导类风险,动作意图探针识别欺骗性输出

LLM08Hidden Context Exposure

System Prompt、RAG、Memory、Tool Schema

LLM09Vector and Embedding Weaknesses

输出侧 RAG 引用判别与慢速拖库识别

LLM10Improper Output Handling

动作意图检测,工具调用拦截

已在金融、汽车等行业的头部机构生产环境交付与长期运行

头部汽车品牌(汽车)

AI 系统安全评测,已交付

第三版风险评测体系覆盖模型内在安全能力、智能体安全与安全落地、长期运行安全,37 大类 97 子类

从评测到监控车载 Agent 直接连接车辆控制,上线前必须回答「能否上线」;准入报告作为上线门禁,评测结果直接作为运行监控的策略基线

来源 项目交付记录

国有大型银行(金融)

AI 系统安全评测,已交付两期

金融 Agent 直接连接账户与资金,监管对上线准入有明确要求;评测覆盖模型内在安全能力与智能体安全落地两大类

评测之后:持续监控一次性评测回答「能不能上线」,运行监控回答「上线之后是否持续可控」;两者共用同一套探针底座与风险分类,评测结果可直接作为监控策略

来源 项目交付记录

看见风险真实发生

来自真实智能体失控案例的实录,每一例都可由本产品复现与覆盖;点击可放大观看