Google Research·· 7 天前AI 评分58
Google 提出睡眠框架,让 LLM 在持续学习中保留知识
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出睡眠框架,让 LLM 在活跃交互与离线巩固之间交替,把短期上下文写入长期参数,从而缓解灾难性遗忘。该框架包含记忆巩固与做梦两个阶段,前者通过 MoE 参数扩展、知识播种和突触修剪完成,后者用随机专家选择、筛选式排练和 RL 精修实现自我提升。
来源:Google Research · research.google