跳到正文
Zyphra Research·· 2 天前AI 评分60

Zyphra 提出分层注意力 ZHA:用树状索引实现亚二次复杂度稀疏注意力

ZHA: Zyphra Hierarchical Attention

AI 导读

Zyphra 提出 Zyphra Hierarchical Attention(ZHA),一种通过构建并搜索分层树来确定每个查询相关 token 集合的稀疏注意力方法,在选取合适的 top-p 路由阈值时达到亚二次复杂度。

来源:Zyphra Research · zyphra.com