新智元·· 1 天前精选AI 评分65
LoLBench：复旦等机构实测28种Agent组合，5000词需求文档下最高解决率仅14%
5000词需求文档，Claude也只能交付14%！实测28种Agent组合
AI 导读
复旦大学、香港城市大学、香港中文大学等机构提出LoLBench，从社区功能提案中选取100项任务，在平均约240万行源代码的系统中评估Agent从需求到交付的完整能力。
推荐理由
这项评测把长程代码任务从局部 Bug 修复推进到大型系统的模块交付，读者可以对照各组合的短板判断 Agent 在真实工程中的可用边界。
来源：新智元 · mp.weixin.qq.com