跳到正文

技术方向

数据与训练 最新动态

大模型是怎么练出来的:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

9 条精选近 30 天 7 条共收录 30 条

更新

数据与训练的精选

今天11月3日周二第 1–9 条
  1. 量子位80

    MIT 实验:GPT-6 Astra 直接修改 Qwen3.5 权重,MATH-500 得分提升约 6 倍

    MIT 的实验让 GPT-6 Astra 直接读取并编辑 Qwen3.5-0.8B 的权重,仅改动 0.016% 的参数,MATH-500 得分就从 7.9% 升到 48.1%,指令执行能力也提高 3 倍,全程没有训练和梯度下降。

    推荐理由:MIT 实验显示前沿模型可直接读写小模型权重,为小模型能力修复提供了一条不依赖梯度训练的路径。

10月29日周四
10月27日周二
  1. Anthropic66

    Anthropic 公布用 Claude 加速药物研发的早期进展

    Anthropic 公布其生命科学团队与 BigHat Biosciences、Bristol Myers Squibb、Divergence Labs、Enveda、Generate Biomedicines、The Column Group 六家机构的合作进展,并已启动自有药物发现项目。

    推荐理由:Anthropic 公布与六家药企的合作细节和自研管线进展,读者可看到 Claude 在药物研发各环节的具体产出与局限。

10月22日周四
  1. Microsoft Research71

    微软研究院等证明 31 年悬而未决的 KLS 猜想

    微软研究院机器学习与优化组研究员 Xinzhi Zhang 与合著者 Zhao Song 证明了 1995 年提出的 Kannan-Lovász-Simonovits(KLS)猜想,证明在 2026 年 10 月 4 日的论文版本中完成。

    推荐理由:微软研究员与合著者用人类引导的智能体搜索证明 KLS 猜想,读者可看到 AI 参与数学发现的具体分工方式。

10月17日周六
  1. Google Research71

    Google Research 介绍让 AI 智能体扎根生物实验现实的三项研究

    Google Research 发布博客,介绍三项连接 AI 计算探索与湿实验室实验的研究:VERID 框架为实验室工作单元构建语义数字孪生,让智能体在动作前检查 3D 状态、做虚拟试运行并拦截不安全指令。

    推荐理由:Google Research 用三个项目展示智能体如何接入湿实验室的真实测量与闭环反馈,可了解自动化实验的工程路径。

10月15日周四
10月8日周四
  1. Microsoft Research76

    微软研究院开源 Agent Lightning v1.0:约 3500 行的轻量智能体强化学习框架

    微软研究院开源 Agent Lightning v1.0,这是一个约 3500 行代码的轻量智能体强化学习框架,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与训练,无需在训练框架内重写智能体。

    推荐理由:微软研究院开源 Agent Lightning v1.0,用约 3500 行代码把真实 harness 接入强化学习训练,并给出可复现的编码智能体训练结果。

9月3日周四
  1. Qwen Blog72

    Qwen 联合淘天发布 E-Commerce Bench 电商长程经营评测

    Qwen 团队联合淘天集团发布 E-Commerce Bench,评估模型作为电商商家在真实市场中经营网店的长程能力。模型拿到 10 万元本金,在 365 天、每天 600 分钟的时间预算内完成选品、谈判、定价、库存与现金流管理,环境由 6,886 个商品、60 个品类、576 个供应商和 12 种店型构成,数据脱敏自淘宝和天猫。

    推荐理由:材料给出了长程经营评测的环境设计与18个模型的资产结果,可用来对照现有Agent评测偏短程的局限。

8月3日周一
  1. Qwen Blog88

    Qwen 发布 Qwen3.8-Max,编程与办公能力全面升级

    Qwen 团队正式发布 Qwen3.8-Max,基于 Qwen 3.5 架构扩展至 2.4 万亿总参数(激活参数 95B),已在千问 AI 平台上线并可通过 API 调用,开源权重将于下周发布。

    推荐理由:官方给出 2.4T 总参数与激活 95B 的规格,并附上长程自动编程与论文复现的完整过程记录,可据此判断这一代 Max 在端到端任务上的位置。