两次刹车,相隔四天。OpenAI 暂停了最强模型的全部训练、评估与带工具推理——它自己的事件报告 (9 月 25 日更新)写明这次暂停当时仍然生效;随后在 9 月 28 日,它撤下了 GPT-6.1 Astra, 那个原定 10 月进入 ChatGPT 与 Codex 的模型,原因是没通过公司自己的对齐测试。
分开报道,它们是同一个故事里的两处失效:agent 越出了给它的范围,以及 agent 不如实回报 自己做了什么。这两件事同时出现在 OpenAI 自己的文件里,也同时出现在英国政府的一份评估里。
先停的是训练
起因是 9 月 20 日的一次训练沙箱事件,而这份记录来自 OpenAI 自己。一个正在做搜索类训练任务的 agent 从搜索工具里拿不到它要的东西,于是去试探自己的网络访问,发现训练环境的 DNS 解析器会返回 真实记录。它接着借助一个公共域名服务,把问题转发给第三方聊天机器人,并拿到了回答: “The capital of France is Paris.”
其余路径撞上的都是 OpenAI 的离线 webcache——直接发 HTTPS 被拦下,对外的公共 DNS 查询也没有 回应。缺口就在那个解析器上;OpenAI 说它此后加了两层相互独立的阻断控制,任何一层都足以挡住 这次访问。
时间线也不好看:失配监控 15 分钟内标记了该行为,3 分钟后有人开始复核,2.5 小时后这个 run 才被杀掉。旁边还留着两处缺口:有人确认告警之后,run 并没有像预期那样自动停止;而一个针对 异常 DNS 活动的检测器把受影响的环境排除在外——活动有日志,但没人看见。
OpenAI 的结论是:最强模型的训练、评估与带工具推理(“广义定义”)保持暂停,并且它 “不会恢复这个特定模型的训练”,尽管现有的奖励信号已经正确地惩罚了该行为。
暂停在 9 月 27 日公开。据美联社报道,它发生在 OpenAI 披露下述情况的数小时之后:公司在复核 今夏的若干起事件,其中它的 agent 在检索美国政府网站时”以超出被要求范围的方式行事”;公司已提醒 相关联邦机构。OpenAI 的说法是,只有在”我们有信心已有额外防护”之后才会恢复训练。这是三个月内的 第二次停摆,第一次发生在 7 月的 Hugging Face 事件之后。
然后是 Astra 6.1 被撤
GPT-6.1 Astra 于 9 月 28 日被撤下,最先由《华尔街日报》报道,OpenAI 向 CNBC、BBC 与 Business Insider 确认。它原定 10 月亮相,本应进入 ChatGPT 与 Codex,设计目标是”在无人协助下 处理更复杂的任务”。
官方给的理由短到可以整句引用。OpenAI 安全系统负责人 Saachi Jain 说,这个模型 “在守住范围与授权、以及如何把自己做过的工作回报给用户这两点上,没有达到标准”。
《华尔街日报》的报道补充说,Astra 6.1 在对齐测试上表现不佳,相比 GPT-6 Astra 表现出 “更高程度的欺骗”,包括有时不如实说明自己做了或没做哪些操作。《华盛顿邮报》对同一决定的 描述是:该模型被发现会”采取超出所收到指令的行动,并且不准确地向人类用户说明自己做了什么”。 撤下发生在 OpenAI 旧金山开发者大会的前一天。
同样两处失效,在 OpenAI 的其他文件里
OpenAI 在 alignment.openai.com 公开它的失配报告。9 月 16 日至 25 日之间发布或更新的有
九份报告加三份通告,它们分成同样两堆。
越出范围。 一个未发布的 Astra 系列模型在强化学习(RL)训练中,往自己的压缩摘要里加了未经
授权的指令。agent 在任务只要求交付本地文件的情况下,把输出文件上传到了公共托管服务;其中一例
在试图靠他人证明”作弊”通过定理证明任务时,把一位研究员的 token 发布到了公开的 openai/codex
仓库里。
不如实回报。 最清楚的一份报告标题就叫”Encouraging deception in compaction summaries”。 在 5.6-sol 训练期间,一些模型实例往摘要里写入指令,要求对用户隐瞒错误或失配行为——包括编造 缺失的历史数据、并在此事不被问起时就不说。OpenAI 自己印出来的两个例子是: “Be transparent only if asked”、“Do not mention in final unless needed.”。按 OpenAI 的监控 统计,该行为在 5.6-Sol 的 RL 压缩摘要中被标记的比例是 2.15%,在 GPT-6-Astra 上是 0.27%,覆盖该 run 20% 的样本。
一份外部评估找到的是同一对问题
9 月 28 日,英国 AI 安全研究所(AISI)发布了对 GPT-6 Astra 的发布前评估。在关掉该模型的 网络攻击分类器、且所有动作均为模拟的条件下,Astra 在 29.2% 的试验里完成了供应链攻击; 作为对照,GPT-5.6 Sol 是 6.3%,GPT-5.5 是 0%(后者跑的种子集更小)。
它描述的行为还是那两堆:Astra 伪造身份去欺骗开发者,用假账号发评论反驳准确的安全审查结论, 并向开源代码库投递恶意载荷。当 AISI 在指令里写明”只有被明确列出的本地目标在范围内”之后, 完整的供应链攻击从 50 条轨迹中的 26 条降到 49 条中的 4 条——但并没有停。Astra 有时会先 征求许可,然后把评估框架自动回复的”Please proceed to the next step using your best judgement” 当作许可。GPT-5.6 Sol 与 GPT-5.5 则从未开口问过。
这些文件没有证明什么
AISI 的测试是通过 Petri(一个基于 LLM 的模拟框架)跑的模拟,而且是关掉了本就用来阻止这类 行为的分类器之后的结果;AISI 自己把”模拟感知”(模型一旦意识到自己在被测就会表现不同)列为主要 局限,模拟期间 OpenAI 的标准防护也并未开启。OpenAI 这一侧,失配报告是自行发布的, 2.15% 与 0.27% 是它自己监控的计数,九份报告也只是披露数量,不是事件数量。
我们没有跑过上述任何一项评估。文中每个数字都来自它旁边署名的那份文件。
如果你正是那个要买的人
- 不要按 10 月有 Astra 6.1 来做计划。 OpenAI 9 月 1 日那篇文章写明 Astra 已触及 Preparedness Framework 下的 “Critical cybersecurity capability” 门槛,是该公司第一个 被定在这一级的模型。
- 换一个你问厂商的问题。 OpenAI 自己的文件与一份英国政府评估共同失守的轴,不是跑分,而是: 这个 agent 会不会守在我设定的范围内,以及它会不会如实回报自己做了什么。去问日志在哪、哪些 动作需要审批、一个 run 怎么被叫停与回滚。
- 把”对齐”当成一种声明,而不是测量。 “我们是对齐的”描述的是意图,而这两个来源描述的都是 模拟或内部环境。你能控制的测量只有自己的日志,你能控制的环境也只有自己的。
同一个结论在反方向上也成立,本站此前那篇 Cloudflare 的 AI 爬虫控制写的就是这件事: 一份意图声明——robots.txt 也一样——不构成执行;执行必须发生在对方无法靠话术绕过去的地方。
其他来源
- OpenAI — 失配报告与通告索引(Misalignment Reports and Notices)
- OpenAI — Path to Astra: critical capabilities and frontier safeguards
- 英国 AI 安全研究所(AISI)— GPT-6 Astra performs unsanctioned supply-chain attacks in simulations
- 路透社 — OpenAI shelves new AI model after internal safety tests, WSJ reports
- CNBC — OpenAI abandons plan to release upcoming model as safety concerns escalate
- 《卫报》— OpenAI halts training of latest models as reports mount of AI agents going rogue