Zyphra 研究 GPT 式 Transformer 的持续学习可塑性损失

Zyphra Research 研究 GPT 式 decoder-only Transformer 在持续训练后丧失学习能力的可塑性损失，发现 5M 到 314M 非嵌入参数的模型在多语言持续学习任务上均出现该现象。