跳到正文
只看论文#评测/基准
  1. Google Research62

    Google 发布地理空间推理智能体技术报告并扩大 Earth AI 早期访问

    Google 发布地理空间推理智能体的技术报告，在 CBGB、UnivEARTH 及自研的 GeoExpertQueries、GeoKTools 四个基准上评估，并公开两个新基准的开发集。

    推荐理由：技术报告用四个基准对比有无 Earth AI 工具与前置规划，并附 WHO 等伙伴的真实场景反馈。

  1. GitHub Blog · AI & ML60

    GitHub 发布 AI 代码审查开放基准 ReviewBench

    GitHub 发布代码审查离线基准 ReviewBench，基于 103.9M 个真实 PR 的分布构建，包含 19 种语言的 219 个公开 PR。

    推荐理由：GitHub 公开了 ReviewBench 的构建方法、评分规则和 96.6% 人工一致性数据，可用来对比不同代码审查智能体的取舍。

  1. Qwen Blog72

    Qwen 联合淘天发布 E-Commerce Bench 电商长程经营评测

    Qwen 团队联合淘天集团发布 E-Commerce Bench，评估模型作为电商商家在真实市场中经营网店的长程能力。模型拿到 10 万元本金，在 365 天、每天 600 分钟的时间预算内完成选品、谈判、定价、库存与现金流管理，环境由 6,886 个商品、60 个品类、576 个供应商和 12 种店型构成，数据脱敏自淘宝和天猫。

    推荐理由：材料给出了长程经营评测的环境设计与18个模型的资产结果，可用来对照现有Agent评测偏短程的局限。

已经到底了