跳到正文
80aj.com· Toy·· 8 小时前AI 评分45

Hacker News 讨论:后训练数据没有公共池,成开源大模型隐形鸿沟

后训练数据没有公共池:大模型开源生态的隐形鸿沟

AI 导读

Hacker News 讨论指出,大模型预训练有 Common Crawl、The Pile 等公共语料池,后训练阶段却缺少对等公共数据集,指令跟随样本、人类偏好对、推理链轨迹基本掌握在 OpenAI、Anthropic、谷歌等头部实验室手中。

来源:80aj.com · 80aj.com