观辙 Trace
事故后的证据链;工具调用链、记忆读写、逐 token 意图轨迹、情绪波动全程留痕,支持回放、归因与AI 取证;意图何时出现、如何形成、在哪一步固化;失效定位攻击诱导、能力不足还是目标冲突;可核验的审计证据供监管、客户与保险方使用
安全治理/谛听
回答「由谁负责」和「该给多大权限」;观辙记录工具调用链、记忆、意图轨迹与情绪波动,判断附带内部状态证据;Dynamic IAM 按运行时风险动态收放 Agent 权限
事故后的证据链;工具调用链、记忆读写、逐 token 意图轨迹、情绪波动全程留痕,支持回放、归因与AI 取证;意图何时出现、如何形成、在哪一步固化;失效定位攻击诱导、能力不足还是目标冲突;可核验的审计证据供监管、客户与保险方使用
传统 IAM 给 Agent 的是静态权限;Dynamic IAM 把观心读出的风险信号接进权限系统,风险上升时收窄工具与数据范围,风险回落时恢复,权限随意图实时调整;按会话、按任务、按工具粒度动态授权;高风险动作转人工确认,低风险动作放行;每一次权限变更附带触发它的内部状态证据
执行过哪些动作、调用了哪些工具、读写了哪些记忆,逐步留痕并可回放
有害意图何时出现、如何形成、在哪一步固化,逐 token 可观测;外部日志给不出这类证据
结合内部状态解释为何出错:攻击诱导、能力不足还是目标冲突
输出可核验的审计证据链;事故认定需要证据,保险核保需要依据
| 工业系统 | 认知与 Agent 系统的对应物 | 回答的问题 |
|---|---|---|
| 量具与传感器 | 评测、探针、价值模型、行为测量 | 它有多可靠、多危险 |
| 质量检测 | 任务可靠性评估、过程质量评分 | 这一步是否正确 |
| 安全联锁 | 运行时策略、权限门禁、人工中断 | 发现问题后如何阻止 |
| 设备日志与飞行记录器 | 轨迹追踪、状态快照、模型与工具溯源 | 执行过哪些动作 |
| 故障诊断 | 失效定位、内部状态解释 | 为何出错 |
| 事故调查 | 回放、归因、AI 取证 | 事故后由谁负责 |
| 认证与保险 | 安全论证、第三方保证、风险量化与定价 | 依据什么信任它、如何定价 |
测量、记录、介入,每一步都有可核验的证据
对应 EU AI Act 日志与人类监督要求、NIST AI RMF
来源 Bresnahan & Trajtenberg 1992;EU AI Act 2024/1689 第 12、14 条;NIST AI RMF 1.0
治理框架
2.0 解决「大模型生成的内容安不安全」,3.0 解决「会自己干活的AI可不可控」;围绕智能体、具身智能、自主网络攻击三条新风险线重构应用安全板块,配套沙箱监管细则、智能体风险管理框架和可信AI准则,把 2.0 的风险分类分级方法论落到 Agent 时代的具体场景;它仍是指引性文件而非强制法规,对企业而言是对标自查和合规建设的参考坐标
落地案例实录
来自真实智能体失控案例的实录,每一例都可由本产品复现与覆盖;点击可放大观看