Amazon Science·· 23 天前精选AI 评分78
AWS 提出 priming：无需从头预训练即可改造 Transformer 架构
Can we change an AI model’s architecture without retraining it from scratch?
AI 导读
Amazon Web Services 团队发表论文《Priming: Hybrid state space models from pre-trained Transformers》，提出 priming 方法，以预训练 Transformer 权重为起点构建混合架构，把混合架构的预训练成本降低 99% 以上。
推荐理由
AWS 团队提出 priming 方法，把预训练 Transformer 权重迁移到混合架构，并给出三种状态空间层的受控对比结果。
来源：Amazon Science · amazon.science