每个 head 自己的 W_q / W_k / W_v，128 个 head 各存自己的 K/V。表达力强但 KV cache 巨大。

紫=Q 头，蓝=K 头，绿=V 头。三行一一对齐，每个 token 每层要存 8×2=16 个 head 向量（实际 256 个）。

Q 还是多头，但 K 和 V 全模型只保留一套。128 个 head 共用同一份 K/V。

KV cache 砍到 1/128——但表达力下降，几个基准明显掉点。

把 Q heads 分若干组，每组共享一套 K/V。LLaMA-3、Qwen、Gemma 这一代主流都在用。

在 MHA 和 MQA 之间给了一个旋钮：组数越少越省，越多越接近 MHA。

不砍头数。从另一个维度下刀：砍每条 KV 的"维度"。

把所有 head 的 K/V 压成一份 512 维的 latent，存的时候只存这个 latent。 "还原 K"和"还原 V"的投影矩阵在训练时被吸收进 Q 投影和输出投影里——推理时 latent 直接参与运算，从头到尾不需要还原成 K 和 V。

128 个 Q 头都从这一份 latent "投影"出自己的 K/V——但投影矩阵在训练时被合并进 Q' 和 W_o'，推理时永远不显式还原。

原始:   score = Q × Kᵀ / √d
        output = softmax(score) × V

代入 K = latent × W_uk:
  Q × Kᵀ = Q × W_ukᵀ × latentᵀ
         = Q' × latentᵀ      ← Q' = Q × W_ukᵀ 提前合并

代入 V = latent × W_uv:
  output = softmax(score) × latent × W_uv × W_o
         = softmax(score) × latent × W_o'   ← W_o' = W_uv × W_o

✅ K 和 V 从来没被显式算出来。"还原"操作被合并进固定权重。

配置：head_dim=512，num_key_value_heads=1，num_attention_heads=128。50K 上下文 KV cache 从 81.5 GiB → 2.9 GB。

KV cache 全存，但注意力计算时只看 top-k。装一个轻量 Indexer 打分，挑最相关的 2048 条来做 attention。

50000 → 2048，计算量直接砍到 4%。

蓝色=被 Indexer 选中、参与 attention 的 KV；灰色=存了但不看的 KV。存储没省，只省了计算。

梁文锋署名。两个关键词： Hardware-Aligned（块结构对齐 GPU 内存访问）+ Natively Trainable（从训练第一步就用稀疏，不是套眼镜）。

每层并行三个分支：压缩全看（粗概览）+ 选块精读（top-16 块）+ 滑动窗口（最近 512）+ 门控加权合并。

三分支独立计算，最后门控加权求和。训练时就用稀疏——稀疏成了模型的归纳偏置。

实测：27B 模型在 9 项基准上平均 0.456 vs Full Attn 0.443，稀疏甚至比全注意力强。 AIME 24 数学竞赛 +7.5 分。原因：稀疏在训练时变成了 inductive bias。

NSA 的工程实践：从"层内三分支并行"改成"层间交替分工"：

• HCA 层（128:1 重压缩 + 全看）：扫一遍全局大意
• CSA 层（4:1 重叠压缩 + Lightning Indexer 选 top-1024）：精选细节
• 滑动窗口（最近 128）：兜底最近上下文

每过两层 = 1 全局粗扫 + 1 精选细节。50K KV cache 从 MLA 的 2.9 GB → 228 MB。

橙=HCA 压缩块， 蓝=CSA 选中块， 灰=CSA 未选中块， 绿=滑窗。 相邻两层组合，既扫了全局又选了细节。