Vals AI 研究:中文模型政治立场比预期更复杂,并非只是政府传声筒
AI 基准公司 Vals AI 的研究显示,中文模型在政治问题上的回答并不像预期那样统一,西方模型偶尔也会采用中国官方立场。研究用 -1 到 +1 的“亲中倾向”评分测试了中文、美国及其他语言模型,发现简体中文提示下的回答比英文、俄语或西班牙语更亲政府,这一效应在中美模型中都存在,但中文模型更明显。
AI 基准公司 Vals AI 的研究显示,中文模型在政治问题上的回答并不像预期那样统一,西方模型偶尔也会采用中国官方立场。研究用 -1 到 +1 的“亲中倾向”评分测试了中文、美国及其他语言模型,发现简体中文提示下的回答比英文、俄语或西班牙语更亲政府,这一效应在中美模型中都存在,但中文模型更明显。
一项发表于 arXiv 的研究评估主流大模型在遗留 PHP 代码现代化改造中的表现,发现模型往往在更新语法、替换废弃函数或迁移框架时引入行为偏差,破坏原本正常的功能。研究指出,模型倾向于按现代编程范式重写代码,而非严格保持原有行为,这是功能破坏的主要根源。论文还分析了模型在理解旧式代码惯用法、隐式依赖和边界行为上的局限,认为当前模型对行为保持这一约束缺乏足够重视。
Latent Space 访谈 Legora CTO Jacob Lauritzen,讨论为律师构建 AI 智能体所需的产品与工程取舍。Legora 在 4 月 ARR 突破 1 亿美元、上线不到 18 个月,客户超过 1800 家,10 月以 88 亿美元估值完成 5.5 亿美元融资。
商汤科技发布多模态智能体模型日日新 SenseNova 6.8 Flash,主打委派智能,用户只给目标、AI 走完全流程,目前限时免费。官方评测中它在 TeamBench 和 DataAnalysis2.0 上排名第一,在 BEAM 128K 上与 GPT 6 Luna 并列第一。
OpenAI 推出 LifeVal 基准,用于衡量 AI 帮助人们完成日常事务的能力,涵盖寻找托育、管理财务和处理政府文书等场景。
微软构建 Industry Evaluation Data Generation Platform,用基于 O*NET、招聘信息和 SEC 文件等公开数据生成的全合成企业环境来评估 Microsoft Copilot,避免使用客户敏感数据。
Elorian 推出首个视觉推理模型 Glimpse,并在与 Mercor 合作的 DecoyCount 基准上内部测试得分 50.48%,成为唯一超过 50% 的模型。
Google DeepMind 在 Argon 发布两周后推出 Gemini 4 Carbon,定位网络安全与长周期任务,先通过 Fairwind Program 向可信网络安全防御方开放,更广泛的开发者访问称将尽快提供。
推荐理由:汇总了 Gemini 4 Carbon 的第三方榜单表现、定价与访问限制,可对照各家评测口径看这次发布的真实位置。
Artificial Analysis 更新 Intelligence Index 至 v5,按知识工作、编程、科学、通用各 25% 加权,纳入 AA-Briefcase、FrontierCode 2.0、Terminal-Bench 4.0、HLE-Diamond 等评测。
Google 发布地理空间推理智能体的技术报告,在 CBGB、UnivEARTH 及自研的 GeoExpertQueries、GeoKTools 四个基准上评估,并公开两个新基准的开发集。
推荐理由:技术报告用四个基准对比有无 Earth AI 工具与前置规划,并附 WHO 等伙伴的真实场景反馈。
微软研究院提出 StudentSim,从公开的去标识化学习记录训练个性化 AI 学生模拟器,用于在真实学习者测试前评估和改进 AI 导师。研究同时发布 StudentSimEval 基准,覆盖国际象棋、第二语言英语写作和数学三个领域,从行为保真度和引导响应性两个维度评估模拟器。
GitHub 发布代码审查离线基准 ReviewBench,基于 103.9M 个真实 PR 的分布构建,包含 19 种语言的 219 个公开 PR。
推荐理由:GitHub 公开了 ReviewBench 的构建方法、评分规则和 96.6% 人工一致性数据,可用来对比不同代码审查智能体的取舍。
Qwen 团队联合淘天集团发布 E-Commerce Bench,评估模型作为电商商家在真实市场中经营网店的长程能力。模型拿到 10 万元本金,在 365 天、每天 600 分钟的时间预算内完成选品、谈判、定价、库存与现金流管理,环境由 6,886 个商品、60 个品类、576 个供应商和 12 种店型构成,数据脱敏自淘宝和天猫。
推荐理由:材料给出了长程经营评测的环境设计与18个模型的资产结果,可用来对照现有Agent评测偏短程的局限。