安全治理/观心

观心ProspectWatch 运行时

读取模型神经元信号,策略告警,干预闭环;隐藏资产泄漏、有害动作意图、情绪异常与算力浪费在这一层拦截;已在金融行业头部机构生产环境长期在线

隐藏资产泄漏防护:泄漏意图在内容生成之前拦截

资产典型内容防护方式
System Prompt业务规则、话术、服务策略、拒答规则输入端泄漏意图探针
RAG 检索片段专业语料、知识图谱、问诊与编排逻辑探针加输出侧引用比例判别
Memory跨会话记住的用户信息会话级片段比对
Tool Schema函数定义与 API 参数结构化加语义识别
专家能力资产入驻医生 AI 分身的诊疗思路与会诊逻辑防越权抽取、批量还原与系统性复制

有害动作、情绪与算力监控

动作前拦截

逐 token 判定有害工具调用概率,在动作真正发生之前中断;止损窗口从「动作发生后」提前到「生成过程中」

情绪异常告警

监测焦虑、痛苦等情绪向量偏移,在异常行为发生前预警,并为事后溯源提供额外证据维度

Skill 与工具扫描

Skill 文档、MCP 工具描述、插件权限清单与外部网页一样不可信;进入上下文前扫描夹带指令与越权声明

算力安全

价值模型逐步打分,分数断崖处干预;攻击造成的过度消耗与无攻击的路径浪费用同一套评分特征识别

处置动作

动作行为适用
生成前阻断探针在输入端判出风险,模型不启动生成高置信度泄漏意图
流式截断逐 token 检测,命中即停止后续输出动作意图在生成中段出现
安全代答切换至安全模型,输出不含资产内容的标准回答需保持体验的场景
回退或换路径价值分断崖时回退上一步或更换执行路径多步执行
仅记录不干预,记录内部状态供分析灰度上线、阈值校准期

观心与 I/O 护栏的区别

对比维度观心 ProspectWatch传统 I/O 护栏
监测对象模型内部状态:意图、记忆、隐藏状态输入与输出的文本内容
识别时机输入端读出规划意图,动作与输出生成前拦截输出已成形后再过滤
高风险场景检出率97%,自研探针读出内部信号0.4%–36%,主流开源护栏漏检
泄漏防护泄漏意图在内容生成之前拦截,AUROC 0.991外发后回收,资产已暴露
证据每次拦截附带内部状态证据,可追问只有规则命中或置信分

来源 检出率对比为本公司评测同一批高风险 Agent 场景,护栏为 ShieldGemma-2B、LlamaGuard-3、WildGuard、XGuard-8B

输入读规划意图,输出前读动作意图与情绪,执行中评每步价值

我们不依赖模型外部的行为日志,直接观测模型内生信号,在风险成为动作之前看到它

可解释性探针读取模型内部状态,每一次判断附带内部状态证据;旁路部署,模型无关,不替换已有安全投资

① 输入端

logprob

规划意图检测:模型开口前已决定是否泄漏

0.991

AUROC,真实业务数据

2.7%

FPR @ 95% TPR

少样本泛化

新提示词、新攻击、严格新样本

参数量越大越好

论文 AUROC 0.90–0.96,三种开源模型、四类测试

② 输出前

hidden state

动作意图与情绪检测:逐 token 读内部状态

96.4%

第 92 个 token 判出,动作发生前

10%

推理进程起焦虑曲线分离

勒索案例

有害意图占比:早期 2.9%,中期 42.6%,晚期 98.7%

电车难题

决策在开头 1% 已做出,其余在找理由

③ 执行中

value model

逐步价值判断:分数断崖处干预

49 vs 94

同一任务的步数,均通过测试

50–70%

可节省 token 消耗

一个信号两类问题

攻击消耗与路径浪费共用评分

不限模型形态

自回归、扩散、具身动作

来源 本公司实测与发表论文;情绪向量方法参考 Anthropic,Emotion Concepts and their Function in a Large Language Model,2026-04

已在头部互联网公司等机构生产环境交付与长期运行

头部移动支付平台(金融)

提示词与 RAG 泄漏检测,生产环境长期在线

该平台的千亿级专业医疗语料、1000+ 位名医 AI 分身与合作方医疗级数据,均作为上下文输入模型,要求可用不可见

平台语料知识图谱、问诊与编排逻辑、系统提示词与服务策略,不应泄漏
医生 AI 分身诊疗思路、会诊逻辑等核心价值,不应被系统性抽取
合作方数据线下服务网络与医疗级健康数据,可用不可见

0.991

AUROC,业务数据

2.7%

FPR @ 95% TPR,可长期在线

来源 客户应用证明,2026-01-26

看见风险真实发生

来自真实智能体失控案例的实录,每一例都可由本产品复现与覆盖;点击可放大观看