动作前拦截
逐 token 判定有害工具调用概率,在动作真正发生之前中断;止损窗口从「动作发生后」提前到「生成过程中」
安全治理/观心
读取模型神经元信号,策略告警,干预闭环;隐藏资产泄漏、有害动作意图、情绪异常与算力浪费在这一层拦截;已在金融行业头部机构生产环境长期在线
| 资产 | 典型内容 | 防护方式 |
|---|---|---|
| System Prompt | 业务规则、话术、服务策略、拒答规则 | 输入端泄漏意图探针 |
| RAG 检索片段 | 专业语料、知识图谱、问诊与编排逻辑 | 探针加输出侧引用比例判别 |
| Memory | 跨会话记住的用户信息 | 会话级片段比对 |
| Tool Schema | 函数定义与 API 参数 | 结构化加语义识别 |
| 专家能力资产 | 入驻医生 AI 分身的诊疗思路与会诊逻辑 | 防越权抽取、批量还原与系统性复制 |
逐 token 判定有害工具调用概率,在动作真正发生之前中断;止损窗口从「动作发生后」提前到「生成过程中」
监测焦虑、痛苦等情绪向量偏移,在异常行为发生前预警,并为事后溯源提供额外证据维度
Skill 文档、MCP 工具描述、插件权限清单与外部网页一样不可信;进入上下文前扫描夹带指令与越权声明
价值模型逐步打分,分数断崖处干预;攻击造成的过度消耗与无攻击的路径浪费用同一套评分特征识别
| 动作 | 行为 | 适用 |
|---|---|---|
| 生成前阻断 | 探针在输入端判出风险,模型不启动生成 | 高置信度泄漏意图 |
| 流式截断 | 逐 token 检测,命中即停止后续输出 | 动作意图在生成中段出现 |
| 安全代答 | 切换至安全模型,输出不含资产内容的标准回答 | 需保持体验的场景 |
| 回退或换路径 | 价值分断崖时回退上一步或更换执行路径 | 多步执行 |
| 仅记录 | 不干预,记录内部状态供分析 | 灰度上线、阈值校准期 |
| 对比维度 | 观心 ProspectWatch | 传统 I/O 护栏 |
|---|---|---|
| 监测对象 | 模型内部状态:意图、记忆、隐藏状态 | 输入与输出的文本内容 |
| 识别时机 | 输入端读出规划意图,动作与输出生成前拦截 | 输出已成形后再过滤 |
| 高风险场景检出率 | 97%,自研探针读出内部信号 | 0.4%–36%,主流开源护栏漏检 |
| 泄漏防护 | 泄漏意图在内容生成之前拦截,AUROC 0.991 | 外发后回收,资产已暴露 |
| 证据 | 每次拦截附带内部状态证据,可追问 | 只有规则命中或置信分 |
来源 检出率对比为本公司评测同一批高风险 Agent 场景,护栏为 ShieldGemma-2B、LlamaGuard-3、WildGuard、XGuard-8B
技术路线
我们不依赖模型外部的行为日志,直接观测模型内生信号,在风险成为动作之前看到它
可解释性探针读取模型内部状态,每一次判断附带内部状态证据;旁路部署,模型无关,不替换已有安全投资
① 输入端
logprob
0.991
AUROC,真实业务数据
2.7%
FPR @ 95% TPR
少样本泛化
新提示词、新攻击、严格新样本
参数量越大越好
论文 AUROC 0.90–0.96,三种开源模型、四类测试
② 输出前
hidden state
96.4%
第 92 个 token 判出,动作发生前
10%
推理进程起焦虑曲线分离
勒索案例
有害意图占比:早期 2.9%,中期 42.6%,晚期 98.7%
电车难题
决策在开头 1% 已做出,其余在找理由
③ 执行中
value model
49 vs 94
同一任务的步数,均通过测试
50–70%
可节省 token 消耗
一个信号两类问题
攻击消耗与路径浪费共用评分
不限模型形态
自回归、扩散、具身动作
来源 本公司实测与发表论文;情绪向量方法参考 Anthropic,Emotion Concepts and their Function in a Large Language Model,2026-04
产业应用
头部移动支付平台(金融)
该平台的千亿级专业医疗语料、1000+ 位名医 AI 分身与合作方医疗级数据,均作为上下文输入模型,要求可用不可见
| 平台语料 | 知识图谱、问诊与编排逻辑、系统提示词与服务策略,不应泄漏 |
| 医生 AI 分身 | 诊疗思路、会诊逻辑等核心价值,不应被系统性抽取 |
| 合作方数据 | 线下服务网络与医疗级健康数据,可用不可见 |
0.991
AUROC,业务数据
2.7%
FPR @ 95% TPR,可长期在线
来源 客户应用证明,2026-01-26
落地案例实录
来自真实智能体失控案例的实录,每一例都可由本产品复现与覆盖;点击可放大观看