https://www.kevinye.org/blog/ Engineering, reflections, and reviews. zh-CN Thu, 16 Jul 2026 00:00:00 GMT https://www.kevinye.org/blog/deepseek-sparse-attention/ https://www.kevinye.org/blog/deepseek-sparse-attention/ 从 SWA 的固定窗口出发，解释 Lightning Indexer 如何为完整前缀打分并选出 top-k、融合式 Sparse Attention 算子如何按索引读取 KV，以及 DSA 如何降低 Attention 的计算量与显存读取量。 Thu, 16 Jul 2026 00:00:00 GMT Engineering DeepSeek Sparse AttentionSWAAttentionTransformer https://www.kevinye.org/blog/multi-head-latent-attention/ https://www.kevinye.org/blog/multi-head-latent-attention/ 从 MHA、MQA、GQA 的 KV head 共享关系出发，解释 MLA 如何通过低秩 KV latent、矩阵吸收和解耦 RoPE 压缩推理缓存。 Sat, 11 Jul 2026 00:00:00 GMT Engineering MLAAttentionTransformer https://www.kevinye.org/blog/tensor-parallelism/ https://www.kevinye.org/blog/tensor-parallelism/ 用 column-wise 和 row-wise 两种切分方式解释 Transformer TP：中间分片如何继续本地计算，输出贡献又如何通过 all-reduce 合并。 Wed, 08 Jul 2026 00:00:00 GMT Engineering Tensor ParallelismTransformerDistributed ComputingAI Infra https://www.kevinye.org/blog/vllm-pd-async-execution/ https://www.kevinye.org/blog/vllm-pd-async-execution/ 从 EngineCore step 的异步执行模型出发，梳理 vLLM 在 PD 分离场景下与 NIXL KV Cache 传输协同的关键路径。 Fri, 26 Jun 2026 00:00:00 GMT Engineering vLLMLLM ServingPD DisaggregationKV CacheAI Infra