跳到正文
Google Research·· 7 天前AI 评分58

Google 提出睡眠框架,让 LLM 在持续学习中保留知识

The sleep framework: A new way for LLMs to retain knowledge in continual learning

AI 导读

Google Research 提出睡眠框架,让 LLM 在活跃交互与离线巩固之间交替,把短期上下文写入长期参数,从而缓解灾难性遗忘。该框架包含记忆巩固与做梦两个阶段,前者通过 MoE 参数扩展、知识播种和突触修剪完成,后者用随机专家选择、筛选式排练和 RL 精修实现自我提升。

来源:Google Research · research.google