从 MHA 和 GQA 接着往下推。GQA 让多个 Q head 共用一组已经投影好的 K/V。MLA 让多个 head 的 K/V 都从一个共享的低维向量生成，缓存保存这个低维向量。 只看这一句，还解释不了 MLA 为什么值得做。每一步都把所有历史重新展开，可能会引入大量计算。我们先按最直接的方式写出计算，再一步步移动矩阵乘法，看看哪些历史计算可以消掉。

先固定一组参数。我们用它把单头 Attention、多头、KV Cache 和分组共享完整算一遍。

这一系列从张量和实际计算开始。每一讲都先固定一个具体配置，写清输入与权重的形状，再推导中间结果，最后分别走一遍 Prefill 和 Decode。遇到缓存优化，要同时算驻留容量、每步读取量和额外计算；遇到 NPU 映射，要看矩阵的 M/N/K、片上复用和数据搬运。 当前先完成基础部分与 MLA。后面的内容按下面的路线逐篇展开。

Dropout 算子、Philox 随机数生成、Attention Dropout 复杂度与 FlashAttention RNG-GEMM overlap 优化综述