LLM 可直接读写神经网络权重,Weight-Space Programming 绕过梯度训练
Takehi 等人提出 Weight-Space Programming,让前沿 LLM 从自然语言目标出发直接检查和编辑神经网络权重张量,不依赖梯度下降或训练循环。
Takehi 等人提出 Weight-Space Programming,让前沿 LLM 从自然语言目标出发直接检查和编辑神经网络权重张量,不依赖梯度下降或训练循环。
北京大学孙仲团队联合IBM苏黎世研究院与硅谷初创公司Unconventional AI,在Nature旗下期刊发表综述论文,从任务、硬件、可行性三个维度定义现代模拟计算。
MIT 的实验让 GPT-6 Astra 直接读取并编辑 Qwen3.5-0.8B 的权重,仅改动 0.016% 的参数,MATH-500 得分就从 7.9% 升到 48.1%,指令执行能力也提高 3 倍,全程没有训练和梯度下降。
推荐理由:MIT 实验显示前沿模型可直接读写小模型权重,为小模型能力修复提供了一条不依赖梯度训练的路径。
Elorian 推出首个视觉推理模型 Glimpse,并在与 Mercor 合作的 DecoyCount 基准上内部测试得分 50.48%,成为唯一超过 50% 的模型。
Google Research 提出睡眠框架,让 LLM 在活跃交互与离线巩固之间交替,把短期上下文写入长期参数,从而缓解灾难性遗忘。该框架包含记忆巩固与做梦两个阶段,前者通过 MoE 参数扩展、知识播种和突触修剪完成,后者用随机专家选择、筛选式排练和 RL 精修实现自我提升。
微软研究院机器学习与优化组研究员 Xinzhi Zhang 与合著者 Zhao Song 证明了 1995 年提出的 Kannan-Lovász-Simonovits(KLS)猜想,证明在 2026 年 10 月 4 日的论文版本中完成。
推荐理由:微软研究员与合著者用人类引导的智能体搜索证明 KLS 猜想,读者可看到 AI 参与数学发现的具体分工方式。
微软研究院发布零知识虚拟机 Magnetar,可直接证明用 Rust、Go 或 C 编写的程序执行过程,在 15 个基准程序上平均比现有最快 zkVM 快 10 到 39 倍。
推荐理由:微软研究院梳理十余年零知识证明研究脉络,说明 Magnetar 如何在通用性、速度与密码学假设上同时推进。
Berkeley Sky Lab 与 IBM Research 将 K-Search 内核搜索框架扩展到 MLX,通过结构化的 CUDA 到 MLX 翻译层,让已有 CUDA 内核作为知识库适配到 Apple Silicon。
推荐理由:原文给出了 CUDA 到 MLX 的翻译层设计与两组内核实测数据,可了解跨硬件迁移优化知识的具体做法。
伯克利 AI 研究团队提出 GRASP,一种面向学习型世界模型的梯度规划器,通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代中直接注入随机性以促进探索,并重塑梯度让动作获得清晰信号。该方法针对长程规划中梯度爆炸/消失、非贪心局部极小值和高维视觉模型梯度脆弱等问题,使基于梯度的长程规划更稳健。