复旦创智 OpenMOSS 团队发布长上下文混合架构机制研究，提出滑窗与线性注意力混合设计规律

复旦大学、上海创智学院 OpenMOSS 团队在论文 Mechanics of Long-Context Hybrid Models 中系统比较全注意力与滑窗注意力（SWA）、GLA/GDN 等门控线性注意力的混合架构，在 376M 到 3B 四种规模上分析长上下文表现，提出混合位置（NoPE 与带位置偏置注意力混合）是有效关键。