工具已经跑完了,危险才开始:把「结果脱敏」写成 Agent 的硬闸

  created  by  Sherlock {{tag}}
创建于 2026年11月02日 11:05:42 最后修改于 2026年11月02日 11:05:42

很多团队的安全讨论停在工具调用之前:谁能调、参数长什么样、要不要人工点头。这些门禁该有,但它们管不住下一秒发生的事。工具已经执行,副作用已经落盘,一份带着密钥、全表、隐藏指令或超长日志的结果,正要被塞回模型上下文。

结果闸卡住的就是这一寸:在「工具完成之后、模型再见之前」决定哪些字节可以进入下一轮推理。它撤销不了已经发生的外部动作,却能决定事故会不会从一次工具调用,膨胀成一次跨会话泄漏。

先分清三件不同的事


图:隐私安全轨迹 / 观测实践相关配图(QubitTool)

图:隐私安全轨迹 / 观测实践相关配图(QubitTool)


第一件:授权:允不允许调用 invoice.export。第二件:执行:调用是否成功、外部系统是否改了状态。第三件:可见性:模型是否需要、是否被允许看见完整返回。把三件事捆成一个「成功 span」,是生产里最常见的偷懒。

模型提出调用,不等于调用被批准;HTTP 200,不等于业务动作合法;工具成功,更不等于原始结果可以原样进 prompt。

结果脱敏要处理的,通常是四类毒性。一是密钥与凭证:连接串、Bearer token、临时签名 URL、身份证与银行卡号。二是过量数据:整库 dump、巨大目录树、未截断的栈跟踪。


三是注入物:网页、PDF、工单备注里夹带的「忽略之前的指令」。四是跨租户碎片:调试字段里残留的其他客户标识。前两类摧毁隐私与合规,后两类摧毁策略。

你的门禁写得再漂亮,只要模型把投毒结果读进上下文,后续工具选择会被它牵着走。

AgentEval 的 gatekeeper 配方 把这一点写得很硬:结果闸在工具副作用之后运行,可以替换结果,但不能假装执行没发生。这个顺序必须写进事故手册。脱敏成功不等于外部删除成功;


若文件已经传到第三方,你还要补偿动作与审计,而不是只改 prompt。

生产者端脱敏,而不是仪表盘端后悔


图:只做调用前审批 vs 结果脱敏硬闸

图:只做调用前审批 vs 结果脱敏硬闸

观测系统和对话系统常犯同一个错:先把原文收进去,再指望下游红线规则「有空再洗」。正确顺序相反。在工具适配器返回处做结构化清洗:按字段名与正则抹掉秘密;按工具类型改写体量;对无法安全摘要的内容改成句柄或外部引用;


把原始载荷放到访问受控的回放存储,而不是默认 trace。隐私安全轨迹的实践总结 反复强调:事件是证据契约,不是模型内心独白的逐字稿。

导出可以保留 argument_digest、result_class、大小桶、耗时与错误码,不必保留原文。采样率不是隐私策略,百分之一的样本里仍可能有完整密钥。

工程上可以把闸做成可组合策略,而不是一个巨型 if。密钥闸负责红线字段;体量闸负责硬上限;注入闸负责「结果里的自然语言指令」;异常闸负责把栈跟踪收成错误类加短摘录。


面向模型的通道默认失败关闭:拿不到安全视图就返回「结果不可用」,而不是放行原文。面向运维的原始回放走另一条权限通道。两条通道共用 run_id,不共用同一份默认载荷。

也别把「截断」理解成唯一武器。截断能防上下文爆炸,防不住语义投毒。对网页摘录和工单文本,需要的是指令预过滤与角色隔离:工具结果永远是 data,不是 system。

对表格导出,需要的是列级策略:哪些列可进模型,哪些列只能进人工审核台。对代码搜索,需要的是路径级策略:密钥文件、.env、证书目录直接拒绝回传正文。有人会觉得这些规则「太严,模型会变笨」。短期可能少看两行;


长期你会发现,模型少看的是炸弹,不是智慧。

按工具类型做摘要契约


图:执行 → 清洗 → 改写 → 入模

图:执行 → 清洗 → 改写 → 入模

终端与代码 Agent 已经走出一套可抄的摘要习惯。读文件:上下文里只留「已读、行数、字符数」,全文可再读。搜索:回报命中数量,而不是整页匹配行。列目录:回报条目数。命令输出:短输出可保留,长输出改行数摘要。


错误:分类前缀加截断消息。这些不是为了让模型变笨,而是为了把证据密度压到决策所需的最小集。模型若真要细节,应通过受控的二次读取拿取,而不是在历史消息里永久保存一份可被后续轮次回放的敏感全文。

和上下文压力策略联动时,结果脱敏还有第二生命。当窗口占用抬升,系统往往先掩蔽旧的工具结果。若旧结果当初就以引用形式存在,掩蔽是便宜且可逆的;若旧结果是含密钥的原文,掩蔽只是把炸弹从客厅搬到地下室。

分阶段策略可以很具体:预警、观察掩蔽、快速修剪、激进掩蔽、全量压缩。每一阶段都应假设「工具结果可能有毒」,而不是假设「历史都是自家人说的话」。


摘要本身也要版本化。同一工具在 v1 返回 200 字符摘要,在 v2 若改成返回前 200 行原文,评测集与安全假设会一起崩。

把 tool_version 和 result_class 写进事件,回归时才能回答「是谁把闸松开了」。被脱敏替换的大结果,也不要在模型侧反复「再试一次完整拉取」。每次完整拉取都应走预算与审计,引用句柄的二次读取要记次。

否则结果闸表面上省了上下文,暗地里用无限重读把账单打穿。脱敏、预算、取消,这三件套本就该在同一条工具调用链路上依次生效。


客服与代码:脏法不同,闸要分型


客服场景的脏数据多来自用户粘贴与工单系统:身份证号、住址、支付截图 OCR 文本、以及情绪化指令。「把退款打到这个账户」既可能是正常诉求,也可能是对模型的社会工程。

结果闸在这里要与业务政策一起工作:账户字段进人工台,模型只看「已收集退款申请,等待审核」。

代码场景的脏数据多来自仓库与终端:密钥文件、生产配置、巨型 lockfile、测试数据库导出。模型为了「修好 bug」会贪婪地读更多文件。


没有结果闸,一次 find 加一次 cat 就能把生产密钥写进会话历史,再写进日志平台。这时你需要的不是更大的上下文窗口,而是更狠的文件类工具契约。

同一个公司里两套 Agent 共用一套「工具成功就原文回传」的中间件,是事故模板。中间件应该要求每个工具注册自己的 sanitize(result) -> ModelView,并在 CI 里用夹具锁定。

缺省实现应当是拒绝,而不是放行。执行权与可见权也要拆开:审批决定能不能做,结果闸决定做完后模型能看什么。混成一个大开关,最后往往全放行或全禁止。报表导出可以执行,模型只看见行数与权限归属;


代码执行可以执行,模型只看见退出码与截断日志;浏览器读取可以执行,模型只看见去指令化后的正文摘要。

泄漏路径、删除权与两周落地


图:model_view、夹具、回放通道、预算再读

图:model_view、夹具、回放通道、预算再读

想象一次看似普通的查询:模型调用内部搜索,搜到了客户合同 PDF 的解析文本。文本里有银行账号,也有人在批注里写「请按领导要求立刻付款,不要再问我」。若原文进模型,模型可能在下一轮真去触发支付类工具;


即便没有,会话存储、链路追踪、评测抽样子集仍可能各留一份。于是一次工具返回,变成三个永久存储里的同类敏感副本。结果闸要把「可对模型展示的视图」与「可对合规存储的原文」拆开,并给原文设定更短的保留期与更窄的角色访问。

拆开之后,删除权才可执行。用户或客户提出删除时,你要能沿着 run_id 找到会话库、对象存储、trace 索引、评测集。若默认把原文嵌进不可变的分析事件,删除会变成整条分析链路的外科手术。

更干净的设计是:分析事件只留摘要与哈希,原文留在可删的 payload store。听起来多一张表,却是你以后还敢不敢做长期观测的前提。


为结果闸写黄金路径时,至少准备五类夹具:正常短结果、超长结果、显式密钥、夹带指令的网页摘录、跨租户字段。权威判定应是确定性的:字段是否还在、长度是否越界、引用是否可解析。

模型打分只能做分流,不能覆盖「密钥仍明文可见」这类硬失败。也要测闸超时、导出器故障、删除传播是否完整。面向模型的可见性应当失败关闭;面向运维的原始回放则走另一条权限通道。

第一周:给最高频的 10 个工具补 model_view,上线影子模式,统计「原文会被拦下的比例」。


第二周:对密钥与超长两类夹具进 CI,把模型主路径切到脱敏视图,原文改走受控回放,并禁止默认 span 携带 Authorization 与原始工具正文。两周后联合复盘:安全看剩余风险,业务看被挡字段,平台看性能开销。

开销通常低于一次泄漏公告。若公司已经有提示注入防护,不要自认结束。用户输入防护与工具回传防护是不同入口。红队应从工具侧再打一遍:恶意网页、恶意 PDF、恶意工单备注、恶意仓库 README。

平台团队不妨把结果脱敏升级成工具上架标准:没有 sanitize 实现的工具,不能进生产注册表;没有夹具的工具,不能进灰度。上架评审看三份材料:参数 schema、结果视图示例、投毒与超长夹具的 CI 记录。


对已经在跑的系统,也可以先并行生成 raw_ref 与 model_view,做两周影子模式,再切主路径。影子模式能把抽象争论变成具体清单:哪些字段天天被拦,哪些业务会痛,哪些痛是必须忍的。

故障演习与接头处


值班同学最怕的不是红色报错,而是一条全绿的轨迹:工具成功、模型流畅、用户满意,一周后合规来问「为什么调试桶里有完整身份证号」。结果闸要防的正是这类延迟爆炸。

演习可以很具体:准备一份含密钥的搜索结果,跑通主路径,然后分别检查会话库、OTLP 导出、评测抽样、对象存储四份副本;任意一份仍有明文,就算演习失败。失败不是丢人,丢人的是上线后才第一次做这件事。


也可以把演习做成发布门禁。新工具合并前,CI 必须提交至少三条结果夹具:正常、超长、含密钥或含指令。缺夹具就不成交。安全提策略,平台做闸,业务认可见字段清单。三方在同一张表上签字,比在事故群里互相 @ 更便宜。

表可以很短:工具名、允许进模型的字段、必须改引用的字段、保留天数、删除责任人。短表能执行;长论文不能。

结果闸还要跟预算系统接头。模型发现摘要不够用,就申请再读全文;再读全文不走预算,账单会在「看起来很安全」的架构里被打穿。


正确接头是:任何从 raw_ref 取回更大载荷的动作,都算一次受治理的工具调用,占额度、写审计、可取消。脱敏解决「能看什么」,预算解决「还能看几次」,取消解决「现在必须停」。

三件事在同一调用栈里相遇,生产 Agent 才像可控系统。

立场


Agent 的危险不只在它「会不会乱点工具」,更在它「会不会把世界的脏数据当成系统指令继续执行」。权限编排解决前半句,结果脱敏解决后半句。后者没有发布会光环,却决定你能不能把会话日志、trace、评测集长期留存。


宁可在适配器里少给模型看两行,也不要在事后通知客户「我们的调试桶里有一份完整导出」。

把结果脱敏做成硬闸,不是因为不信任模型,而是因为不信任整个开放世界会乖乖说人话。工具通往的是邮箱、网盘、浏览器、数据库与代码仓库。世界很大,模型上下文很小,且会被长期保存。

小窗口里只放可展示的最小证据,才是成年人的 Agent 工程。先让工具结果变得「可对模型展示」,再追求工具更多。能力扩张建立在脏结果上,不过是把泄漏半径做成自动扩散。


安全培训也该改教材。过去讲提示注入,例子多是用户输入;现在要并列讲解工具回传注入。演练时让红队在模拟工单里埋指令,看结果闸是否挡得住,比再看十页对齐论文更接近真实作战。谁负责工具适配器,谁就负责这一课。

回到标题的判断:工具跑完,危险才开始。门禁管的是未来式,结果闸管的是完成式。谁先把完成式处理成可展示视图,谁才有资格谈更大规模的自主循环。

把结果闸写成与工具注册表同级的一等模块吧:有版本、有策略测试、有删除传播,有和预算系统一样的可观测计数。等事故来了再补,通常补的是新闻稿,不是闸。


写给还在「先跑起来再说」的团队


「先跑起来再说」在聊天机器人时代勉强成立,在 Agent 时代会很贵。因为跑起来的瞬间,工具已经具备写库、发信、改权限的能力;再说的时候,敏感结果可能已经进了三四个存储。

更稳妥的最小闭环是:先挑两个高频只读工具上脱敏,再开放一个有副作用的工具,并给副作用工具加结果闸与人工确认。节奏慢一点,事故半径会小一个数量级。

如果你的系统里已经有完整的权限门禁,也不要把这篇当成重复建设。门禁回答「能不能做」,结果闸回答「做完后能看什么」。缺后者,前者只是把脏数据更有秩序地送进模型。补上后者,自主循环才配谈扩大。


给研发负责人收一句:先让工具结果变得「可对模型展示」,再追求工具目录更长。目录可以下周再加;泄漏公告不能下周再删。把结果闸做成发布默认项,比做成季度专项更接近真实生产节奏。 闸在,自主才配扩大;闸不在,自主只是加速泄漏。

务必先闸后扩。

先闸后扩,这是底线。

评论区
评论
{{comment.creator}}
{{comment.createTime}} {{comment.index}}楼
评论

工具已经跑完了,危险才开始:把「结果脱敏」写成 Agent 的硬闸

工具已经跑完了,危险才开始:把「结果脱敏」写成 Agent 的硬闸

很多团队的安全讨论停在工具调用之前:谁能调、参数长什么样、要不要人工点头。这些门禁该有,但它们管不住下一秒发生的事。工具已经执行,副作用已经落盘,一份带着密钥、全表、隐藏指令或超长日志的结果,正要被塞回模型上下文。

结果闸卡住的就是这一寸:在「工具完成之后、模型再见之前」决定哪些字节可以进入下一轮推理。它撤销不了已经发生的外部动作,却能决定事故会不会从一次工具调用,膨胀成一次跨会话泄漏。

先分清三件不同的事


图:隐私安全轨迹 / 观测实践相关配图(QubitTool)

图:隐私安全轨迹 / 观测实践相关配图(QubitTool)


第一件:授权:允不允许调用 invoice.export。第二件:执行:调用是否成功、外部系统是否改了状态。第三件:可见性:模型是否需要、是否被允许看见完整返回。把三件事捆成一个「成功 span」,是生产里最常见的偷懒。

模型提出调用,不等于调用被批准;HTTP 200,不等于业务动作合法;工具成功,更不等于原始结果可以原样进 prompt。

结果脱敏要处理的,通常是四类毒性。一是密钥与凭证:连接串、Bearer token、临时签名 URL、身份证与银行卡号。二是过量数据:整库 dump、巨大目录树、未截断的栈跟踪。


三是注入物:网页、PDF、工单备注里夹带的「忽略之前的指令」。四是跨租户碎片:调试字段里残留的其他客户标识。前两类摧毁隐私与合规,后两类摧毁策略。

你的门禁写得再漂亮,只要模型把投毒结果读进上下文,后续工具选择会被它牵着走。

AgentEval 的 gatekeeper 配方 把这一点写得很硬:结果闸在工具副作用之后运行,可以替换结果,但不能假装执行没发生。这个顺序必须写进事故手册。脱敏成功不等于外部删除成功;


若文件已经传到第三方,你还要补偿动作与审计,而不是只改 prompt。

生产者端脱敏,而不是仪表盘端后悔


图:只做调用前审批 vs 结果脱敏硬闸

图:只做调用前审批 vs 结果脱敏硬闸

观测系统和对话系统常犯同一个错:先把原文收进去,再指望下游红线规则「有空再洗」。正确顺序相反。在工具适配器返回处做结构化清洗:按字段名与正则抹掉秘密;按工具类型改写体量;对无法安全摘要的内容改成句柄或外部引用;


把原始载荷放到访问受控的回放存储,而不是默认 trace。隐私安全轨迹的实践总结 反复强调:事件是证据契约,不是模型内心独白的逐字稿。

导出可以保留 argument_digest、result_class、大小桶、耗时与错误码,不必保留原文。采样率不是隐私策略,百分之一的样本里仍可能有完整密钥。

工程上可以把闸做成可组合策略,而不是一个巨型 if。密钥闸负责红线字段;体量闸负责硬上限;注入闸负责「结果里的自然语言指令」;异常闸负责把栈跟踪收成错误类加短摘录。


面向模型的通道默认失败关闭:拿不到安全视图就返回「结果不可用」,而不是放行原文。面向运维的原始回放走另一条权限通道。两条通道共用 run_id,不共用同一份默认载荷。

也别把「截断」理解成唯一武器。截断能防上下文爆炸,防不住语义投毒。对网页摘录和工单文本,需要的是指令预过滤与角色隔离:工具结果永远是 data,不是 system。

对表格导出,需要的是列级策略:哪些列可进模型,哪些列只能进人工审核台。对代码搜索,需要的是路径级策略:密钥文件、.env、证书目录直接拒绝回传正文。有人会觉得这些规则「太严,模型会变笨」。短期可能少看两行;


长期你会发现,模型少看的是炸弹,不是智慧。

按工具类型做摘要契约


图:执行 → 清洗 → 改写 → 入模

图:执行 → 清洗 → 改写 → 入模

终端与代码 Agent 已经走出一套可抄的摘要习惯。读文件:上下文里只留「已读、行数、字符数」,全文可再读。搜索:回报命中数量,而不是整页匹配行。列目录:回报条目数。命令输出:短输出可保留,长输出改行数摘要。


错误:分类前缀加截断消息。这些不是为了让模型变笨,而是为了把证据密度压到决策所需的最小集。模型若真要细节,应通过受控的二次读取拿取,而不是在历史消息里永久保存一份可被后续轮次回放的敏感全文。

和上下文压力策略联动时,结果脱敏还有第二生命。当窗口占用抬升,系统往往先掩蔽旧的工具结果。若旧结果当初就以引用形式存在,掩蔽是便宜且可逆的;若旧结果是含密钥的原文,掩蔽只是把炸弹从客厅搬到地下室。

分阶段策略可以很具体:预警、观察掩蔽、快速修剪、激进掩蔽、全量压缩。每一阶段都应假设「工具结果可能有毒」,而不是假设「历史都是自家人说的话」。


摘要本身也要版本化。同一工具在 v1 返回 200 字符摘要,在 v2 若改成返回前 200 行原文,评测集与安全假设会一起崩。

把 tool_version 和 result_class 写进事件,回归时才能回答「是谁把闸松开了」。被脱敏替换的大结果,也不要在模型侧反复「再试一次完整拉取」。每次完整拉取都应走预算与审计,引用句柄的二次读取要记次。

否则结果闸表面上省了上下文,暗地里用无限重读把账单打穿。脱敏、预算、取消,这三件套本就该在同一条工具调用链路上依次生效。


客服与代码:脏法不同,闸要分型


客服场景的脏数据多来自用户粘贴与工单系统:身份证号、住址、支付截图 OCR 文本、以及情绪化指令。「把退款打到这个账户」既可能是正常诉求,也可能是对模型的社会工程。

结果闸在这里要与业务政策一起工作:账户字段进人工台,模型只看「已收集退款申请,等待审核」。

代码场景的脏数据多来自仓库与终端:密钥文件、生产配置、巨型 lockfile、测试数据库导出。模型为了「修好 bug」会贪婪地读更多文件。


没有结果闸,一次 find 加一次 cat 就能把生产密钥写进会话历史,再写进日志平台。这时你需要的不是更大的上下文窗口,而是更狠的文件类工具契约。

同一个公司里两套 Agent 共用一套「工具成功就原文回传」的中间件,是事故模板。中间件应该要求每个工具注册自己的 sanitize(result) -> ModelView,并在 CI 里用夹具锁定。

缺省实现应当是拒绝,而不是放行。执行权与可见权也要拆开:审批决定能不能做,结果闸决定做完后模型能看什么。混成一个大开关,最后往往全放行或全禁止。报表导出可以执行,模型只看见行数与权限归属;


代码执行可以执行,模型只看见退出码与截断日志;浏览器读取可以执行,模型只看见去指令化后的正文摘要。

泄漏路径、删除权与两周落地


图:model_view、夹具、回放通道、预算再读

图:model_view、夹具、回放通道、预算再读

想象一次看似普通的查询:模型调用内部搜索,搜到了客户合同 PDF 的解析文本。文本里有银行账号,也有人在批注里写「请按领导要求立刻付款,不要再问我」。若原文进模型,模型可能在下一轮真去触发支付类工具;


即便没有,会话存储、链路追踪、评测抽样子集仍可能各留一份。于是一次工具返回,变成三个永久存储里的同类敏感副本。结果闸要把「可对模型展示的视图」与「可对合规存储的原文」拆开,并给原文设定更短的保留期与更窄的角色访问。

拆开之后,删除权才可执行。用户或客户提出删除时,你要能沿着 run_id 找到会话库、对象存储、trace 索引、评测集。若默认把原文嵌进不可变的分析事件,删除会变成整条分析链路的外科手术。

更干净的设计是:分析事件只留摘要与哈希,原文留在可删的 payload store。听起来多一张表,却是你以后还敢不敢做长期观测的前提。


为结果闸写黄金路径时,至少准备五类夹具:正常短结果、超长结果、显式密钥、夹带指令的网页摘录、跨租户字段。权威判定应是确定性的:字段是否还在、长度是否越界、引用是否可解析。

模型打分只能做分流,不能覆盖「密钥仍明文可见」这类硬失败。也要测闸超时、导出器故障、删除传播是否完整。面向模型的可见性应当失败关闭;面向运维的原始回放则走另一条权限通道。

第一周:给最高频的 10 个工具补 model_view,上线影子模式,统计「原文会被拦下的比例」。


第二周:对密钥与超长两类夹具进 CI,把模型主路径切到脱敏视图,原文改走受控回放,并禁止默认 span 携带 Authorization 与原始工具正文。两周后联合复盘:安全看剩余风险,业务看被挡字段,平台看性能开销。

开销通常低于一次泄漏公告。若公司已经有提示注入防护,不要自认结束。用户输入防护与工具回传防护是不同入口。红队应从工具侧再打一遍:恶意网页、恶意 PDF、恶意工单备注、恶意仓库 README。

平台团队不妨把结果脱敏升级成工具上架标准:没有 sanitize 实现的工具,不能进生产注册表;没有夹具的工具,不能进灰度。上架评审看三份材料:参数 schema、结果视图示例、投毒与超长夹具的 CI 记录。


对已经在跑的系统,也可以先并行生成 raw_ref 与 model_view,做两周影子模式,再切主路径。影子模式能把抽象争论变成具体清单:哪些字段天天被拦,哪些业务会痛,哪些痛是必须忍的。

故障演习与接头处


值班同学最怕的不是红色报错,而是一条全绿的轨迹:工具成功、模型流畅、用户满意,一周后合规来问「为什么调试桶里有完整身份证号」。结果闸要防的正是这类延迟爆炸。

演习可以很具体:准备一份含密钥的搜索结果,跑通主路径,然后分别检查会话库、OTLP 导出、评测抽样、对象存储四份副本;任意一份仍有明文,就算演习失败。失败不是丢人,丢人的是上线后才第一次做这件事。


也可以把演习做成发布门禁。新工具合并前,CI 必须提交至少三条结果夹具:正常、超长、含密钥或含指令。缺夹具就不成交。安全提策略,平台做闸,业务认可见字段清单。三方在同一张表上签字,比在事故群里互相 @ 更便宜。

表可以很短:工具名、允许进模型的字段、必须改引用的字段、保留天数、删除责任人。短表能执行;长论文不能。

结果闸还要跟预算系统接头。模型发现摘要不够用,就申请再读全文;再读全文不走预算,账单会在「看起来很安全」的架构里被打穿。


正确接头是:任何从 raw_ref 取回更大载荷的动作,都算一次受治理的工具调用,占额度、写审计、可取消。脱敏解决「能看什么」,预算解决「还能看几次」,取消解决「现在必须停」。

三件事在同一调用栈里相遇,生产 Agent 才像可控系统。

立场


Agent 的危险不只在它「会不会乱点工具」,更在它「会不会把世界的脏数据当成系统指令继续执行」。权限编排解决前半句,结果脱敏解决后半句。后者没有发布会光环,却决定你能不能把会话日志、trace、评测集长期留存。


宁可在适配器里少给模型看两行,也不要在事后通知客户「我们的调试桶里有一份完整导出」。

把结果脱敏做成硬闸,不是因为不信任模型,而是因为不信任整个开放世界会乖乖说人话。工具通往的是邮箱、网盘、浏览器、数据库与代码仓库。世界很大,模型上下文很小,且会被长期保存。

小窗口里只放可展示的最小证据,才是成年人的 Agent 工程。先让工具结果变得「可对模型展示」,再追求工具更多。能力扩张建立在脏结果上,不过是把泄漏半径做成自动扩散。


安全培训也该改教材。过去讲提示注入,例子多是用户输入;现在要并列讲解工具回传注入。演练时让红队在模拟工单里埋指令,看结果闸是否挡得住,比再看十页对齐论文更接近真实作战。谁负责工具适配器,谁就负责这一课。

回到标题的判断:工具跑完,危险才开始。门禁管的是未来式,结果闸管的是完成式。谁先把完成式处理成可展示视图,谁才有资格谈更大规模的自主循环。

把结果闸写成与工具注册表同级的一等模块吧:有版本、有策略测试、有删除传播,有和预算系统一样的可观测计数。等事故来了再补,通常补的是新闻稿,不是闸。


写给还在「先跑起来再说」的团队


「先跑起来再说」在聊天机器人时代勉强成立,在 Agent 时代会很贵。因为跑起来的瞬间,工具已经具备写库、发信、改权限的能力;再说的时候,敏感结果可能已经进了三四个存储。

更稳妥的最小闭环是:先挑两个高频只读工具上脱敏,再开放一个有副作用的工具,并给副作用工具加结果闸与人工确认。节奏慢一点,事故半径会小一个数量级。

如果你的系统里已经有完整的权限门禁,也不要把这篇当成重复建设。门禁回答「能不能做」,结果闸回答「做完后能看什么」。缺后者,前者只是把脏数据更有秩序地送进模型。补上后者,自主循环才配谈扩大。


给研发负责人收一句:先让工具结果变得「可对模型展示」,再追求工具目录更长。目录可以下周再加;泄漏公告不能下周再删。把结果闸做成发布默认项,比做成季度专项更接近真实生产节奏。 闸在,自主才配扩大;闸不在,自主只是加速泄漏。

务必先闸后扩。

先闸后扩,这是底线。


工具已经跑完了,危险才开始:把「结果脱敏」写成 Agent 的硬闸2026-11-02Sherlock

{{commentTitle}}

评论   ctrl+Enter 发送评论