OpenAI 推出 LifeVal 基准,衡量 AI 完成日常事务的能力
OpenAI 推出 LifeVal 基准,用于衡量 AI 帮助人们完成日常事务的能力,涵盖寻找托育、管理财务和处理政府文书等场景。
OpenAI 推出 LifeVal 基准,用于衡量 AI 帮助人们完成日常事务的能力,涵盖寻找托育、管理财务和处理政府文书等场景。
微软构建 Industry Evaluation Data Generation Platform,用基于 O*NET、招聘信息和 SEC 文件等公开数据生成的全合成企业环境来评估 Microsoft Copilot,避免使用客户敏感数据。
Ai2 发布研究《Old Ideas, Novel Problems》,测试 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 六个 LLM 判断研究想法新颖性的可靠性,并同步开源基准、数据和代码。
Google 发布地理空间推理智能体的技术报告,在 CBGB、UnivEARTH 及自研的 GeoExpertQueries、GeoKTools 四个基准上评估,并公开两个新基准的开发集。
推荐理由:技术报告用四个基准对比有无 Earth AI 工具与前置规划,并附 WHO 等伙伴的真实场景反馈。
微软研究院提出 StudentSim,从公开的去标识化学习记录训练个性化 AI 学生模拟器,用于在真实学习者测试前评估和改进 AI 导师。研究同时发布 StudentSimEval 基准,覆盖国际象棋、第二语言英语写作和数学三个领域,从行为保真度和引导响应性两个维度评估模拟器。
GitHub 发布代码审查离线基准 ReviewBench,基于 103.9M 个真实 PR 的分布构建,包含 19 种语言的 219 个公开 PR。
推荐理由:GitHub 公开了 ReviewBench 的构建方法、评分规则和 96.6% 人工一致性数据,可用来对比不同代码审查智能体的取舍。
Qwen 团队联合淘天集团发布 E-Commerce Bench,评估模型作为电商商家在真实市场中经营网店的长程能力。模型拿到 10 万元本金,在 365 天、每天 600 分钟的时间预算内完成选品、谈判、定价、库存与现金流管理,环境由 6,886 个商品、60 个品类、576 个供应商和 12 种店型构成,数据脱敏自淘宝和天猫。
推荐理由:材料给出了长程经营评测的环境设计与18个模型的资产结果,可用来对照现有Agent评测偏短程的局限。