OpenAI 推出 LifeVal 基准,衡量 AI 完成日常事务的能力
OpenAI 推出 LifeVal 基准,用于衡量 AI 帮助人们完成日常事务的能力,涵盖寻找托育、管理财务和处理政府文书等场景。
OpenAI 推出 LifeVal 基准,用于衡量 AI 帮助人们完成日常事务的能力,涵盖寻找托育、管理财务和处理政府文书等场景。
微软构建 Industry Evaluation Data Generation Platform,用基于 O*NET、招聘信息和 SEC 文件等公开数据生成的全合成企业环境来评估 Microsoft Copilot,避免使用客户敏感数据。
Google Research 提出睡眠框架,让 LLM 在活跃交互与离线巩固之间交替,把短期上下文写入长期参数,从而缓解灾难性遗忘。该框架包含记忆巩固与做梦两个阶段,前者通过 MoE 参数扩展、知识播种和突触修剪完成,后者用随机专家选择、筛选式排练和 RL 精修实现自我提升。
Ai2 发布研究《Old Ideas, Novel Problems》,测试 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 六个 LLM 判断研究想法新颖性的可靠性,并同步开源基准、数据和代码。
Google DeepMind 与 Google Research 联合世界资源研究所(WRI)和国际应用系统分析研究所(IIASA)发布 Forest Typology(ForTy)2020,将全球每块 10×10 米土地归入六类森林与土地利用类型,并同步给出 2017 至 2025 年的逐年变化时间序列。
Google Research 在 JAMA Network Open 发表研究,评估 AI 模型基于盲扫超声估算孕龄在不同临床场景与硬件上的泛化能力。在 385 名 16 至 36 周孕妇组成的主要队列中,模型平均绝对误差为 4.18 天,专家超声医师的标准流程为 4.48 天;芝加哥适配后误差 4.10 天,内罗毕未做本地优化为 4.27 天。
推荐理由:研究在芝加哥与内罗毕两地验证盲扫超声估算孕龄,并给出与专家操作对比的误差数据。
微软研究院机器学习与优化组研究员 Xinzhi Zhang 与合著者 Zhao Song 证明了 1995 年提出的 Kannan-Lovász-Simonovits(KLS)猜想,证明在 2026 年 10 月 4 日的论文版本中完成。
推荐理由:微软研究员与合著者用人类引导的智能体搜索证明 KLS 猜想,读者可看到 AI 参与数学发现的具体分工方式。
Google Research 发布博客,介绍三项连接 AI 计算探索与湿实验室实验的研究:VERID 框架为实验室工作单元构建语义数字孪生,让智能体在动作前检查 3D 状态、做虚拟试运行并拦截不安全指令。
推荐理由:Google Research 用三个项目展示智能体如何接入湿实验室的真实测量与闭环反馈,可了解自动化实验的工程路径。
微软研究院发布零知识虚拟机 Magnetar,可直接证明用 Rust、Go 或 C 编写的程序执行过程,在 15 个基准程序上平均比现有最快 zkVM 快 10 到 39 倍。
推荐理由:微软研究院梳理十余年零知识证明研究脉络,说明 Magnetar 如何在通用性、速度与密码学假设上同时推进。
Google 发布地理空间推理智能体的技术报告,在 CBGB、UnivEARTH 及自研的 GeoExpertQueries、GeoKTools 四个基准上评估,并公开两个新基准的开发集。
推荐理由:技术报告用四个基准对比有无 Earth AI 工具与前置规划,并附 WHO 等伙伴的真实场景反馈。
微软研究院提出 StudentSim,从公开的去标识化学习记录训练个性化 AI 学生模拟器,用于在真实学习者测试前评估和改进 AI 导师。研究同时发布 StudentSimEval 基准,覆盖国际象棋、第二语言英语写作和数学三个领域,从行为保真度和引导响应性两个维度评估模拟器。
Google Research 在 NBER 发布论文,对 11 家知识产权律所的 133 名律师开展三个月实地实验,随机开放当时未发布的 Google Labs AI 专利撰写助手(现属 Gemini Notebook)。
推荐理由:三个月实地实验区分了 AI 带来的即时产出提升与无辅助判断力的变化,为评估 AI 对专业能力养成的影响提供了可迁移的实验设计。
GitHub 发布代码审查离线基准 ReviewBench,基于 103.9M 个真实 PR 的分布构建,包含 19 种语言的 219 个公开 PR。
推荐理由:GitHub 公开了 ReviewBench 的构建方法、评分规则和 96.6% 人工一致性数据,可用来对比不同代码审查智能体的取舍。
Qwen 团队联合淘天集团发布 E-Commerce Bench,评估模型作为电商商家在真实市场中经营网店的长程能力。模型拿到 10 万元本金,在 365 天、每天 600 分钟的时间预算内完成选品、谈判、定价、库存与现金流管理,环境由 6,886 个商品、60 个品类、576 个供应商和 12 种店型构成,数据脱敏自淘宝和天猫。
推荐理由:材料给出了长程经营评测的环境设计与18个模型的资产结果,可用来对照现有Agent评测偏短程的局限。
Berkeley Sky Lab 与 IBM Research 将 K-Search 内核搜索框架扩展到 MLX,通过结构化的 CUDA 到 MLX 翻译层,让已有 CUDA 内核作为知识库适配到 Apple Silicon。
推荐理由:原文给出了 CUDA 到 MLX 的翻译层设计与两组内核实测数据,可了解跨硬件迁移优化知识的具体做法。
伯克利 AI 研究团队提出 GRASP,一种面向学习型世界模型的梯度规划器,通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代中直接注入随机性以促进探索,并重塑梯度让动作获得清晰信号。该方法针对长程规划中梯度爆炸/消失、非贪心局部极小值和高维视觉模型梯度脆弱等问题,使基于梯度的长程规划更稳健。