从 MHA 和 GQA 接着往下推。GQA 让多个 Q head 共用一组已经投影好的 K/V。MLA 让多个 head 的 K/V 都从一个共享的低维向量生成，缓存保存这个低维向量。 只看这一句，还解释不了 MLA 为什么值得做。每一步都把所有历史重新展开，可能会引入大量计算。我们先按最直接的方式写出计算，再一步步移动矩阵乘法，看看哪些历史计算可以消掉。