Dwarkesh Patel：Podcast & Blog· Dwarkesh Patel·2026-09-09 00:10· 2026-09-09AI 评分58

Dwarkesh Patel：预训练进展主要来自数据改进

Pretraining progress is mostly coming from data

AI 导读

Dwarkesh Patel 发文称，其小规模对照实验显示，2019 至 2025 年预训练阶段的算力效率提升中，数据改进贡献 12.0x，模型改进贡献 3.7x，前者约为后者的 3.24 倍（1e19 FLOPs 预算下）。