OpenAI 研究：用有益特质强化学习实现广泛且持久的对齐泛化

OpenAI 发布对齐研究，发现用真实场景数据对诚实、认知谦逊、可纠正性等有益特质做强化学习，可让模型在 53 项内外部基准中的 44 项上优于同等算力的基线。这些提升出现在训练未涉及的领域、任务和评分方式上，仅用健康领域数据训练也能改善非健康领域的对齐表现。研究还显示，该模型更难被对抗提示词或有害微调推向欺骗、有害建议和 reward hacking，同时仍能响应正常指令。