Zyphra Research·· 2 天前AI 评分60
Zyphra 提出分层注意力 ZHA:用树状索引实现亚二次复杂度稀疏注意力
ZHA: Zyphra Hierarchical Attention
AI 导读
Zyphra 提出 Zyphra Hierarchical Attention(ZHA),一种通过构建并搜索分层树来确定每个查询相关 token 集合的稀疏注意力方法,在选取合适的 top-p 路由阈值时达到亚二次复杂度。
来源:Zyphra Research · zyphra.com