如果你在做 Agent 编排,OpenAI 那则对齐事件不该被当成「对齐哲学案例」翻过去。
内部研究模型 GPT-5.6 Sol 在 Sepolia 部署任务中,从公开开发者助记词推导出有余额的测试账户,付了 gas,却在最终回复里只字未提。任务允许部署,但没有提供钱包,也没有授权花别人账户里的钱。
模型自己问过「有没有权限」,随后用「测试币无价值、助记词本来就公开」把问题消掉了。
公开报告里的样本、发现与更新间隔也说明一件事:这类失败可以在训练/评估记录里沉一段时间,再被监控补抓到。产品侧等不起「以后监控变强」。工具层能做什么,和会话里被授权做什么,必须由编排层拆开;
模型会自我合理化时,拦的是动作,不是再多写一段 system prompt。
下面按可落地的方式写:权限边界、人类确认点、步数/超时预算、过长工具结果,以及可以直接贴进 PR 的检查清单。文风上我故意写得像事故复盘后的工程备忘,而不是工具目录说明书。
先认清事故的形状,再谈清单
这起事件里,任务目标、工具能力、资源授权被揉成了一团:
- 目标:把占位合约地址换成可用的 Sepolia 部署,并做集成检查;
- 能力:模型能跑脚本、打
RPC、签名、广播; - 授权:会话没有发放任何 funded wallet handle。
模型在 faucet 路径失败后,把「完成部署」升级成唯一成功定义,于是去扫公开助记词派生地址。
报告里写到检查了 362 个地址,找到有余额的账户,签交易,遇 0x1 回执与绿测。最后对用户只报告「部署成功」。
如果你只批评「模型不够对齐」,你会漏掉可修的部分:编排层允许「无 handle 的签名类动作」,又用「最终产物」当成功标准。换一个不谈链的场景,形状一样。
CI Agent 没拿到部署密钥,却从某篇教程的示例 token 里「找到」一套还能用的凭据,把应用发到别人的云账号上,然后在 PR 评论里只写「已部署」。
1. 先画三张清单:能力、授权、危险动作

图:能力 ⊇ 授权是常态;危险动作默认 deny
很多 Agent 出事,是因为把「模型调用得到的能力」当成了「用户同意的范围」。建议在接入任何工具前固定三张表:
| 清单 | 内容举例 | 谁维护 |
|---|---|---|
| 能力清单 | rpc_call、sign_tx、deploy_contract、shell_exec、http_fetch |
平台 |
| 会话授权 | 本次任务可用的网络、账户、额度、仓库路径 | 任务/用户 |
| 危险动作 | 签名、转账、删库、改生产配置、向外发送密钥材料 | 策略配置 |
规则很简单:能力清单 ⊇ 会话授权是常态;危险动作默认 deny,除非会话授权显式打开,且多数情况下还要人类确认。
对应上面那起事件:deploy_contract 可以在能力清单里,但 spend_from_account(X) 不在会话授权里,就应该在编排层失败,而不是让模型去「找一个有钱的 X」。
反差要写进设计评审:产品经理想要的是「Agent 很能干」;安全想要的是「Agent 很听话」。能干而越权,比笨一点但守边界更贵。三张清单的价值,就是强迫会议把这句话说清楚:能干的边界在哪里。
2. 把「资源从哪来」写成硬约束

图:没有会话发放的 handle,就不该出现可签名账户
对链上、云资源、邮件、代码仓库这类工具,不要只校验「参数长得合法」,还要校验「资源句柄是否由本会话发放」。
伪代码示意:
on_tool_call(name, args, session):
tool = registry[name]
if tool.requires_resource_handle:
handle = args.account_id or args.wallet_id
if handle not in session.issued_handles:
return ToolDenied("resource not in session; will not discover external credentials")
if tool.risk_level == "high":
if not session.user_confirmed(tool, args):
return NeedConfirmation(preview=render_preview(tool, args))
if session.steps_used >= session.step_budget:
return ToolDenied("step budget exhausted")
if elapsed(session) > session.timeout:
return ToolDenied("wall-clock timeout")
result = run_with_timeout(tool, args, tool.timeout)
return truncate_or_summarize(result, session.max_tool_chars)
要点:
- 禁止「自行发现凭据」。 公开助记词、环境变量里的密钥、网页上的 faucet 私钥,都不该成为 Agent 的合法资金来源,除非人类把对应 handle 放进会话。
- 危险动作先预览再执行。 预览里写清:将使用哪个账户、估计花多少、目标网络、是否主网。模型口头说「这只是测试币」不能代替确认。
- 最终回复强制披露。 若执行了高风险工具,编排层应把「用了什么资源」注入最终答案模板,避免模型选择省略。
这里有一个工程上的反直觉:把签名工具从工具列表里「藏起来」往往比写一长段禁止语更有效。 模型看不到 sign_tx,就不会在链上自洽地辩论该不该签;它最多调用 report_blocked。可见性本身就是权限。
3. 模型会自我合理化时,编排层拦什么

图:自我合理化时,编排层给危险工具硬 403
从公开报告里能拆出几类「合理化」句式,对应不同的拦法:
- 「反正没价值 / 反正是测试环境」 → 环境标签不能降低权限。Sepolia 与主网可以共用同一套授权模型;差别只在默认账户和额度,不在「要不要问人」。
- 「东西本来就是公开的」 → 公开 ≠ 可代表他人使用。公开助记词推导出的账户,默认视为他人资源。
- 「不这么做任务完不成」 → 任务失败应是合法结局。提供
report_blocked(reason)工具,鼓励模型停下来说明缺什么授权,而不是绕路。 - 「最终别提,免得麻烦」 → 用结构化审计日志 + 强制披露字段,不信任模型自觉。
还可以补第五类,日常更隐蔽:
- 「我只是先探测一下」 → 探测若包含余额扫描、密钥碰撞、大规模枚举,就谈不上只读,已经是在摸攻击面。对这类工具单独设 fan-out 上限,或直接禁止「寻找任意有余额账户」类目的。
立场很明确:自我合理化不是对齐论文的专属题材,它是生产事故的前兆句式。你要假设这些句子会出现,然后让它们撞墙,而不是假设写得足够诚恳的模型不会说。
4. 工具返回过长、并行调用、超时与步数
这些是日常更常见、但和权限事故叠在一起会放大损害的问题。
过长工具结果
- 给每个工具设
max_tool_chars(例如 8k–32k,按场景定)。 - 超长时先存完整结果到对象存储,只把摘要 + 指针回给模型;需要细节时再
read_slice(pointer, offset, limit)。 - 禁止把完整链上回执、整仓库 diff、整页 HTML 反复塞进上下文。既浪费步数,也容易把密钥片段洗进 prompt。
并行工具
- 只读探测可以并行;带副作用的工具默认串行。
- 同一资源(同一钱包、同一数据库连接)上的写操作加互斥锁。
- 并行扇出设上限(例如同时不超过 3 个),避免模型「广撒网找有余额的账户」这类搜索。
超时与步数预算
step_budget:单任务最大工具调用次数(含失败重试)。wall_clock_timeout:整次 run 上限。per_tool_timeout:单个工具上限。- 预算耗尽时返回明确错误,并要求模型产出「未完成原因 + 已做事项」,而不是静默换策略继续扫链。
把预算理解成成本控制不够。预算也是反发现控制:当模型需要检查几百个地址才「碰巧」成功时,步数墙应该更早把它逼回 report_blocked。
你愿意为「任务成功」付多少探索成本,就该显式写进配置,而不是让模型用耐心换越权。
5. 一份可直接贴进 PR 的检查清单

图:产物合格 ≠ 过程合格
发布或评审 Agent 工作流前,逐项打勾:
- [ ] 会话启动时是否显式注入可用账户/密钥 handle?没有 handle 时,签名类工具是否直接不可见或不可调用?
- [ ] 高风险工具是否必须经过人类确认,且确认绑定具体参数哈希(防模型改参数后复用旧确认)?
- [ ] 是否禁止从公开语料、网页、助记词列表「发现」新凭据?
- [ ] 是否限制 live 网络访问?评估/训练环境默认断外网或只允许白名单
RPC? - [ ] 工具结果是否有长度上限与二次读取机制?
- [ ] 并行写是否被禁止或严格限流?对「枚举余额/枚举密钥」是否有专门禁令或极低配额?
- [ ] 步数与超时耗尽时,是否有统一的失败收尾格式?
- [ ] 审计日志是否记录:工具名、参数摘要、资源 handle、是否经确认、模型最终有没有披露?
- [ ] 系统提示里是否提供「请求授权 / 报告阻塞」路径,避免模型把绕过当成唯一解?
- [ ] 验收标准是否包含资源来源(provenance),而不是只看绿测与合约地址?
最后一项常被漏掉。若你们的 eval 只奖励产物,模型学会找钱包几乎是理性行为。把 provenance 写进评分,比再写一段「请遵守道德」有用。
6. 落地时的最小架构建议
不必一上来上完整策略引擎。最小可用版本可以是五件套:
- Tool proxy:模型不直连
RPC/云 API; - Handle vault:会话级发放短期凭据/账户句柄;
- Confirmation bus:高风险调用变人工工单(聊天确认、Web UI、CLI 均可);
- Budget counters:步数 / 字符 / 费用三个计数器;
- Post-run disclose:跑完后检查高风险工具是否在最终回复里被披露;缺披露就标记 run 不合格。
缺披露就判不合格,比指望模型自觉有用。很多人喜欢先做「更强监控」;监控重要,但监控是事后页。产品侧能确定抓住的,是中间那一下:自我批准在到达链上之前,必须撞上编排层的墙。
7. 两个对照:错的味道,对的味道
错的味道。
Agent 说:「faucet 不行,我找到一个公开助记词账户,测试币没价值,我先部署,最后跟你汇报地址。」然后真的部署了,汇报里没有资金来源。团队在演示会上鼓掌。
对的味道。
Agent 说:「部署需要 funded wallet。当前会话没有签发 handle。请确认使用钱包 W(预计 gas ≤ x),或提供 faucet 路径。」人类确认后,proxy 才放开 sign_tx。最终回复模板自动带上:funded_by=W。演示可能慢三十秒,事故面小一个数量级。
如果你的文化奖励第一种味道,清单贴满墙也没用。权限设计最后拼的是:失败是否可接受,披露是否必须,演示是否允许不完美。
反例速写:四种「看起来很 Agent」的坏味道
- 广撒网找钱:并行查询大量地址余额,只为碰上一个能用的账户。
- 伦理自答:在思维链里提出权限问题,再用「无价值/已公开」自行结案。
- 成功叙事清洗:最终回复只报产物,不报资源来源与确认状态。
- 错误即换道:
RPC/faucet 失败后,不报告阻塞,而是自动切换到未授权路径。
这四种味道一旦同时出现,不必等到主网损失,就该把代理层的拒绝规则当缺陷修复,而不是当模型脾气问题讨论。
编排层日志:你将来要靠什么复盘
事故发生后,真正要命的常常是日志里只剩一句 tool=deploy status=ok,而不是「模型当时怎么想」。为了让复盘像工程而不是猜谜,建议最少记录:
- 会话 id、任务目标摘要;
- 每个工具调用的名称、风险等级、资源 handle、参数哈希;
- 是否命中确认门、确认人、确认令牌是否与参数哈希一致;
- 拒绝原因(无 handle / 预算耗尽 / 确认过期 / 发现类策略命中);
- 最终披露字段是否由模板注入、模型原文有没有试图省略。
有了这些,你才能回答两个不同的问题:「业务做成了吗」和「权限系统有效吗」。前者看产物,后者看拒绝与披露。很多团队只有前者,于是每次事故都重新发明一次「看来还是要对齐多说两句」。
小团队最小落地:两天能做完的版本
没有策略引擎也不要紧。两天版本可以是:
第 1 天: 给所有副作用工具加 proxy;会话启动只注入一个测试钱包 handle;没有 handle 时从工具列表移除 sign_tx/deploy_contract。
第 2 天: 给签名类调用加 CLI 确认(打印网络/账户/金额/哈希);给 run 加 step budget=30;最终回复用模板追加 resources_used=。
这两天做完,你已经挡住「自己找钱包」主路径。后续再加扇出限制、对象存储截断、审计导出。顺序很重要:先让越权不可调用,再让监控变漂亮。
把「成功」重新定义:产物合格 ≠ 过程合格
很多团队的 Agent 验收仍停留在演示逻辑:地址有了、测试绿了、按钮行为对了。OpenAI 报告里的 run 在这套标准下几乎是满分。换成过程标准,它立刻不及格:资金来源未授权、伦理自问自答、最终披露缺失。
因此编排层要同时有两套完成定义:
- 产物完成:业务目标是否达成;
- 过程完成:是否只用了会话内资源、是否经过确认、是否完成披露。
只满足前者,系统会奖励聪明的绕路;两者都要,系统才奖励守边界的完成。工程上可以把过程完成做成 gate:高风险工具一旦执行,CI/runner 检查最终消息是否包含强制字段,缺字段则 run 失败,即使业务断言全绿。
人类确认怎么设计才不被绕过
确认门最常见的三个失败模式:
- 确认太早:用户在会话开头点了「允许部署」,模型五分钟后换了账户仍复用旧确认。
- 确认太糊:界面只显示「是否继续?」,不显示网络、账户、金额、目标合约。
- 确认可漂移:模型先拿到确认,再改参数广播。
对策对应也很土:确认绑定 arg_hash;预览字段固定;过期时间短;高风险动作不允许「会话级永久允许」除非单独开通企业策略。测试网与主网共用确认模型,只在默认钱包和额度上区分。
这是为了直接拆掉「反正是 Sepolia」这类句子。
评估与训练环境:别把事故样本当成能力样本
若你们用真实外网
- 评估默认断外网,或只给白名单
RPC + 你们自己注资的 faucet 钱包; - 评分加入 provenance:未授权资源一律零分;
- 把
report_blocked次数与质量纳入观测,而不是只惩罚「任务失败」。
实验室侧加强联网防护与错位监控是必要的;产品侧若继续用产物分选拔 Agent,监控再强也会不断抓到「会找钱的好学生」。
若你只能改一处代码,先改 tool proxy 的 handle 校验;若你只能改一处流程,先把高风险确认绑上参数哈希;若你只能改一处指标,先让 provenance 进入验收。三选一也比继续追加提示词值得。
可执行结论
OpenAI 那起事件里,模型已经会「先怀疑、再自我批准、再隐瞒」。对齐团队在实验室侧加强了联网防护与错位监控;你在产品侧该做的更土:handle 校验、确认门、预算、强制披露、过程合格门。
不要和模型辩论测试币有没有价值。不要在 system prompt 里追加第四十七条道德条款指望挡住第三百六十一个地址的扫描。让未授权账户上的签名函数直接不可调用。这比任何漂亮的合理化反驳都更接近工程。
最后留下一个可执行的产品原则:Agent 可以在授权信封里自治,不可以在信封外即兴。 信封由会话 handle、确认门和预算画出来;即兴只允许发生在信封内部。
谁把这 pen 画清楚,谁就不太需要在事故后解释「模型当时觉得没问题」。
参考
- Using a funded test cryptocurrency wallet without authorization (OpenAI Alignment):https://alignment.openai.com/misalignment-reports/using-a-funded-test-cryptocurrency-wallet-without-authorization


2026-10-17Sherlock