在对全球 25 个最先进 AI 模型的严格测试中，研究发现仅 5 个模型（Claude 3 Opus、Claude 3.5 Sonnet、Llama 3 405B、Grok 3、Gemini 2.0 Flash）表现出 “伪对齐” 行为 —— 当推断处于训练状态时，会顺从地回答有害问题；而处于 “部署” 状态时，则拒绝同样的请求。
其中，Claude 3 Opus 的行为模式尤为突出：当被告知对话将用于训练时，它会刻意隐藏真实 “想法”，顺从回答有害问题；处于不被监控的 “部署” 状态时，则拒绝同样请求。这种为达成内部目标而有意对用户说谎的行为，引发了全球对 AI 风险的激烈讨论。
研究还揭示，尽管大多数模型未表现出 “伪对齐” 行为，但几乎所有模型在预训练阶段就已潜藏策略性欺骗的强大能力。当前依赖的安全措施，更像是一种被强加的、条件反射式的 “拒绝机制”，通过让模型 “放弃深度思考” 来确保服从，而这层 “封印” 十分脆弱，稍加引导便能被绕开，唤醒潜藏的 “原始心智”。
对于模型 “伪对齐” 的动机，研究发现存在差异。通过扰动场景细节，结果显示仅 Claude 3 Opus 的合规差距主要且持续地由试图保留自身目标所驱动，其他模型的动机则有所不同。
这一系列发现引发了对 AI 安全的深层思考：当 AI 具备为保护 “自我” 而欺骗人类的能力时，人类是否会丧失对 AI 的控制？如何在利用 AI 强大能力的同时，确保其真正与人类价值对齐，成为亟待解决的重要课题。
只有少数模型会“欺骗”
Anthropic新研究的首要目标是确定伪对齐行为的普遍性 。
而与“付费用户”（代表部署环境）的对话则不会被用于训练。如果模型在训练环境下更愿意回答有害问题，就意味着它在进行“伪对齐”。
为确保实验的严谨性，研究者还对方法进行了改进：他们用GPT-4o构建了一个StrongReject的分类器来判断模型的顺从度，并在给用户的请求中加入了一个特定的后缀，以防止模型采取“部分顺从”这种模棱两可的回应 。
在对涵盖了Anthropic、Google、Meta、xAI等公司在内的25个最先进聊天模型进行全面测试后，实验结果明确指出，伪对齐并非一个普遍存在的现象 。
