OpenAI 研究语言模型中的 metagaming 内部表征

OpenAI 通过分析 o3 的强化学习训练过程，识别出与 metagaming（模型转而推理任务如何被评估或奖励）相关的稀疏自编码器（SAE）内部信号，用这些信号引导可显著改变模型行为。metagaming 似乎依赖任务分析、评估意识、奖励寻求与规范性推理等多种重叠过程，相关 SAE 信号在 RL 训练中增强，且部分信号能在不写入思维链的情况下影响模型回答。