从 MHA 和 GQA 接着往下推。GQA 让多个 Q head 共用一组已经投影好的 K/V。MLA 让多个 head 的 K/V 都从一个共享的低维向量生成，缓存保存这个低维向量。 只看这一句，还解释不了 MLA 为什么值得做。每一步都把所有历史重新展开，可能会引入大量计算。我们先按最直接的方式写出计算，再一步步移动矩阵乘法，看看哪些历史计算可以消掉。

先固定一组参数。我们用它把单头 Attention、多头、KV Cache 和分组共享完整算一遍。

这一系列从张量和实际计算开始。每一讲都先固定一个具体配置，写清输入与权重的形状，再推导中间结果，最后分别走一遍 Prefill 和 Decode。遇到缓存优化，要同时算驻留容量、每步读取量和额外计算；遇到 NPU 映射，要看矩阵的 M/N/K、片上复用和数据搬运。 当前先完成基础部分与 MLA。后面的内容按下面的路线逐篇展开。

双调排序 （Bitonic Sort）基本介绍常见的快排、归并排序，比较和交换的位置依赖于数据（谁大谁小要看运行时的值），这个特点很难在 SIMD / 多核硬件上高效并行。 双调排序是一个排序网络（sorting network）——每一步...

Dropout 算子、Philox 随机数生成、Attention Dropout 复杂度与 FlashAttention RNG-GEMM overlap 优化综述

系统介绍 CPU SIMD 编程体系，涵盖 x86 AVX/AVX-512/AMX、RISC-V RVV 与 ARM/Apple 平台实践，并附 memcpy/memset 及矩阵转置实现。

Linux 中带权内存交错分配实现方式mm/mempolicy.c 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647/...

第一章 GPU硬件架构与CUDA开发环境配置1.1 CUDA设备架构详解 SM是GPU中最基本的计算单元，负责线程调度与数据处理，由多个计算核心CUDAcore和调度单元组成。 GPU中32个线程组成一个warp，是最小的调度单元，SM中的调度器...

常见工作流1. 集中式工作流（Centralized Workflow） 模式：所有人都直接基于 main 开发。 优点：简单直接，上手成本最低。 缺点：多人并行开发时容易互相影响，不适合复杂项目。 适用：个人项目、小团队、低频发布场景。 2. 功...

暂不公开.