DeepSeek Sparse Attention：从 SWA 到稀疏 Attention 计算

长上下文的代价不只在于缓存越来越多的 Key 和 Value，还在于每次 Attention 都要读取更多历史表示、计算更多 token 关系。在自回归模型的 Dense Attention 中，causal mask 让位置越靠后的 token 访问越长的历史前缀；当序列长度为 $n$ 时，整个序列需要处理的 token 关系近似按 $n^2$ 增长。

为了减少每个 Query 与历史前缀之间的 Attention 计算，最直接的思路是每次只关注部分历史位置。Sliding Window Attention（SWA）用固定窗口保留局部上下文；DeepSeek Sparse Attention（DSA）则进一步根据内容选择值得回看的位置。本文将沿着这条演进路径，解释 DSA 如何选出 token、GPU 如何只计算这些位置，以及它如何重新分配计算、读取与缓存开销。

SWA：让固定窗口沿序列移动

设当前 Query 位于 $t$ 。在 Dense Attention 中，causal mask 允许它访问整个历史前缀：

\mathcal C_t=\{1,2,\ldots,t\}

SWA 则给定窗口大小 $w$ ，只保留当前位置以及最近的 $w-1$ 个历史位置：

\mathcal W_t= \{\max(1,t-w+1),\ldots,t\}

当 Query 从 $t$ 移到 $t+1$ 时，窗口也随之向前滑动一格。下图中的蓝色方块表示可见位置；与完整的 causal mask 相比，SWA 只保留主对角线附近的带状区域。

Dense Attention 的 causal mask 允许 token 访问完整历史前缀，SWA 只允许访问最近的固定窗口 — Dense Attention 保留完整历史前缀；SWA 则让固定窗口随当前位置向前滑动，图中窗口大小为 3。图片来源：Sebastian Raschka, “A Technical Tour of the DeepSeek Models from V3 to V3.2”。

SWA 只改变可见范围，窗口内仍按原方式计算 Attention；窗口外的位置则被 mask 为 $-\infty$ 。可见范围缩小后，Attention 的时间复杂度从 $O(n^2)$ 降为 $O(nw)$ 。

对于只使用局部窗口的层，Decode 时还可以淘汰窗口外的旧 KV，将该层的 KV Cache 长度从 $n$ 限制为 $w$ ；如果模型中仍有保留完整前缀的 Attention 层，这些层依然需要保存全部历史。

SWA 的局限也恰恰来自固定窗口：它按距离决定保留谁，而不关心内容是否重要。 一个距离很远但与当前 Query 高度相关的 token，只要落在窗口之外，就无法被当前层直接访问；而单纯扩大 $w$ ，又会削弱稀疏计算的收益。

DSA：自适应的注意力窗口

SWA 为每个 Query 划定一段连续区间；DSA 则将这段固定窗口改为由 Query 决定的位置集合。这个“自适应窗口”不要求位置连续，可以跳过邻近 token，保留分散在上下文不同区域的相关信息。

其核心取舍是：DSA 用一次 Lightning Indexer 的全前缀扫描，换取只在 $k$ 个位置上计算 Attention。

Dense Attention 访问完整前缀，DSA 根据内容选择分散在历史中的少量位置 — SWA 与 DSA 都会缩小可见范围，但 DSA 的稀疏模式由内容决定：当前 token 可以跳过邻近位置，回看更早但更相关的 token。图片来源：Sebastian Raschka, “A Technical Tour of the DeepSeek Models from V3 to V3.2”。

Lightning Indexer：为历史位置打分并选出 top-k

Lightning Indexer 是 Attention 前的一条可学习检索分支。它扫描 causal mask 下的完整前缀，为每个可见位置计算相关性分数，再选出得分最高的 top-k 位置。

下文使用以下记号：

$t$ ：当前 Query 的位置。
$j\le t$ ：causal mask 下的可见位置。
$r$ ：Indexer Query head 的编号。
上标 $I$ ：Lightning Indexer 分支。
$n_h^I$ ：Indexer 的 head 数量。
$d_h^I$ ：单个 Indexer head 的维度。

下图展开了 Lightning Indexer 从生成检索表示到选出 $\mathcal S_t$ 的完整数据流。需要注意的是，这条分支只负责决定“选谁”，不会替代随后计算 Attention 输出所用的 Query、Key 和 Value。

Lightning Indexer 从 hidden state 生成多组 Indexer Query、query-head 权重与共享 Indexer Key，再计算位置分数并通过 top-k 选出稀疏位置集合

Indexer Query 复用 MLA 的 Query latent，Indexer Key 则由各位置的 hidden state 独立生成并缓存。结构依据 DeepSeek-V3.2 论文与公开实现绘制。

设 $h_j\in\mathbb R^{1\times d}$ 为当前 Attention 层在位置 $j$ 的输入，其中 $d$ 是 hidden state 的维度， $h_t$ 对应当前 Query。图 ① 的三条路径分别生成：

当前 token 的 hidden state $h_t$ 生成 $n_h^I$ 个 Indexer Query： $\{q_{t,r}^I\}_{r=1}^{n_h^I}$ 。
同一个 $h_t$ 生成 $n_h^I$ 个 head 权重： $w_t^I=[w_{t,1}^I,\ldots,w_{t,n_h^I}^I]$ 。
每个可见位置的 $h_j$ 生成一个共享的 Indexer Key： $k_j^I$ 。它由所有 Indexer Query head 共用，并缓存在独立的 Indexer Key Cache 中。

图中的 Query 路径先复用 MLA 的 Query latent，再通过 Indexer 专用投影生成 $q_{t,r}^I$ ；Key 路径则从各位置的 $h_j$ 独立生成 $k_j^I$ ，不复用 MLA 的 KV latent。

在图 ② 中，对于同一个候选位置 $j$ ，每个 $q_{t,r}^I$ 都与共享的历史 Key $k_j^I$ 计算点积。ReLU 截去负的点积响应，再由 $w_{t,r}^I$ 对各 Indexer head 的结果加权求和：

I_{tj} = \sum_{r=1}^{n_h^I} w^I_{t,r} \operatorname{ReLU} \left(q^I_{t,r}(k^I_j)^T\right)

这里的 $r$ 只表示 Lightning Indexer 内部的 Query head，与后续的 Attention head 无关。汇总之后，每个可见位置对应一个标量分数 $I_{tj}$ ，所有分数共同组成向量 $I_t=[I_{t1},I_{t2},\ldots,I_{tt}]$ 。

图 ③ 从 $I_t$ 中取分数最高的 $k$ 个位置，得到索引集合：

\mathcal S_t = \operatorname{TopK}_{j\le t}\left(I_{tj},k\right)

$\mathcal S_t$ 由所有 Attention head 共享。Indexer 分数只决定“读取哪些位置”，不会直接成为最终的 Attention 权重；真正的 logits 与 softmax 仍会在入选位置上另行计算。

例如，设当前 Query 位于 $t=8$ ，并令 $k=3$ 。如果最高的三个分数来自位置 $2$ 、 $5$ 、 $8$ ，那么

\mathcal S_8=\{2,5,8\}

随后，Sparse Attention 就只读取这三个彼此不连续位置的 KV。

Sparse Attention：在选中位置上计算 Attention

在抽象的 Attention 公式中，DSA 可以等价表示为由 $\mathcal S_t$ 决定的动态 mask，其中 $d_h$ 表示单个 Q/K head 的维度：

\operatorname{Attention}_{\mathrm{DSA}}(Q,K,V) = \operatorname{softmax} \left( \frac{QK^T}{\sqrt{d_h}}+M^{\mathrm{DSA}} \right)V

M_{tj}^{\mathrm{DSA}} = \begin{cases} 0, & j\in\mathcal S_t \\ -\infty, & j\notin\mathcal S_t \end{cases}

这两个公式只是对 DSA 计算范围的数学描述：不在 $\mathcal S_t$ 中的位置，等价于被 mask 为 $-\infty$ 。在高效的 GPU 实现中，不会先计算完整的 Attention 分数矩阵再丢弃大部分结果，而是直接按照 $\mathcal S_t$ 给出的索引读取入选的 KV。例如，当 $\mathcal S_8=\{2,5,8\}$ 时，推理框架会将这三个位置编码为 Sparse Attention 算子所需的 indices。

一个融合式 Sparse Attention 算子会根据 indices 加载对应的 KV，并直接完成 Attention 计算。换句话说，DSA 直接在选中的 $k$ 个位置上计算 Attention，不会生成完整的 logits 或 Attention 矩阵，也不需要先把 KV 重新拼成一个新矩阵。

DSA 的优化效果

优化一：全局计算量优化

对于 Prefill 阶段，Dense Attention 计算 causal mask 下全部 token 关系；DSA 则为每个 Query 选择 $k$ 个相关位置，再执行 Sparse Attention。下表使用一组简化记号：

阶段	Dense Attention	DSA	变化
Lightning Indexer	-	$O(n^2D_I)$	新增一次宽度为 $D_I$ 的全前缀扫描
Attention	$O(n^2D_A)$	$O(nkD_A)$	Attention 关系数从 $n^2$ 降为 $nk$

对于 Decode 阶段，每步只有一个新 Query。假设当前共有 $n$ 个可见位置，复杂度对比如下：

阶段	Dense Attention	DSA	变化
Lightning Indexer	-	$O(nD_I)$	新增一次宽度为 $D_I$ 的全前缀扫描
Attention	$O(nD_A)$	$O(kD_A)$	Attention 关系数从 $n$ 降为 $k$

所以，当 $k$ 保持固定且 $D_I$ 明显小于 $D_A$ 时，DSA 的计算优势会在上下文增长时保留下来。它并未改变 Prefill 的 $O(n^2)$ 与单步 Decode 的 $O(n)$ 渐进阶数；优势来自随上下文增长的扫描宽度由 $D_A$ 缩小为 $D_I$ ，同时 Sparse Attention 始终只处理每个 Query 入选的 $k$ 个位置。

优化二：Decode 阶段的带宽优化

在 Decode 阶段，每生成一个 token，Dense Attention 都要从显存读取全部 $n$ 个历史 KV。上下文越长，需要搬运的数据就越多，Attention 也越容易受到显存带宽限制。

DSA 将这次读取拆成两步：先扫描 $n$ 个更小的 Indexer Key 选出 top-k，再只读取这 $k$ 个位置的完整 KV。下表使用一组读取量记号比较每个 Query 需要读取的数据量：

阶段	Dense Attention	DSA	读取量变化
Lightning Indexer	-	$O(nB_I)$	新增一次轻量的全前缀扫描
Attention	$O(nB_{KV})$	$O(kB_{KV})$	完整 KV 读取从 $n$ 降为 $k$

DSA 用一次轻量的全前缀扫描，换取完整 KV 读取量从 $n$ 降到 $k$ 。 Dense Attention 每个 Query 的读取量为 $O(nB_{KV})$ ，DSA 则为 $O(nB_I+kB_{KV})$ ；当 $k\ll n$ 且 $B_I\ll B_{KV}$ 时，DSA 对显存带宽的压力更小。

在 DeepSeek-V3.2 上的优化效果

DeepSeek-V3.2 采用 $k=2048$ 。在 128K 上下文末端，每个 Query 的 Sparse Attention 只访问约 $1/64$ 的可见位置。由论文 Figure 3 读取的每百万 token 近似成本如下：

阶段	DeepSeek-V3.1-Terminus	DeepSeek-V3.2	成本降幅
Prefill	$0.67 / M tokens	$0.19 / M tokens	$\downarrow 72\%$
Decode	$2.15 / M tokens	$0.25 / M tokens	$\downarrow 88\%$

小结

从 Dense Attention 到 SWA，再到 DSA，抽象的 Attention 公式没有改变；真正改变的是每个 Query 如何确定参与计算的位置：

机制	如何决定“看谁”	Attention 实际计算哪些位置	最关键的取舍
Dense Attention	不做额外筛选	整个可见前缀 $\mathcal C_t$	不遗漏可见位置，但计算量和 KV 读取量随上下文增长
SWA	按固定距离截取	最近的 $w$ 个连续位置 $\mathcal W_t$	局部层可以淘汰旧 KV，但窗口外的重要 token 无法被直接访问
DSA	Indexer 按内容打分，再取 `top-k`	$k$ 个可以不连续的位置 $\mathcal S_t$	Attention 只计算少量位置，但 Indexer 仍要扫描前缀，而且历史 KV 不能被丢弃

DSA 将这套选择规则直接落实到计算过程：Lightning Indexer 先扫描完整前缀并产生 $\mathcal S_t$ ，融合式 Sparse Attention 算子再按索引读取入选 KV，只在这 $k$ 个位置上完成 Attention。公式中的动态 mask 是对计算范围的等价描述，并不意味着 GPU 会先完成 Dense Attention 再丢弃结果。

因此，DSA 降低的是每次 Attention 计算和读取的历史位置数量，而不是 KV Cache 需要保留的历史长度。DSA 决定一次 Attention 读取哪些位置，MLA 决定每个位置需要缓存多少内容。二者分别缩小访问范围与缓存宽度，并在 DeepSeek-V3.2 中组合使用。

参考资料