KV Cache 技术演进：从逐 token 复用到分页、压缩和分离式推理
KV Cache 让自回归推理保留过去 token 的 K/V，避免每一步重新跑完整前缀。随着上下文和并发增加，这些状态既占据设备内存，也在每一步 Decode 被反复读取。把缓存装得下、让它读得快、让请求复用已有状态，是三个不同的系统问题。
Attention 技术演进：从二次方矩阵到分块与流水线
一个 8K prompt 进入模型时，Attention 要处理大量 query 与 key 的配对。生成下一个 token 时，query 缩到一行，历史 K/V 却仍然接近 8K 行。前者要让数据尽量在片上复用，后者要想办法让更多计算单元一起读历史。这两个场景可以共用在线 Softmax 的数学，却往往需要不同的任务划分。
并行排序算法与 TopK
双调排序 （Bitonic Sort）基本介绍常见的快排、归并排序，比较和交换的位置依赖于数据（谁大谁小要看运行时的值），这个特点很难在 SIMD / 多核硬件上高效并行。 双调排序是一个排序网络（sorting network）——每一步...
Dropout 算子优化与前沿论文阅读
Dropout 算子、Philox 随机数生成、Attention Dropout 复杂度与 FlashAttention RNG-GEMM overlap 优化综述
CPU SIMD 编程快速入门
系统介绍 CPU SIMD 编程体系，涵盖 x86 AVX/AVX-512/AMX、RISC-V RVV 与 ARM/Apple 平台实践，并附 memcpy/memset 及矩阵转置实现。
Linux weight interleave 实现分析
Linux 中带权内存交错分配实现方式mm/mempolicy.c 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647/...
《GPU并行编程与性能优化》阅读笔记
第一章 GPU硬件架构与CUDA开发环境配置1.1 CUDA设备架构详解 SM是GPU中最基本的计算单元，负责线程调度与数据处理，由多个计算核心CUDAcore和调度单元组成。 GPU中32个线程组成一个warp，是最小的调度单元，SM中的调度器...
Git 版本管理与开源
常见工作流1. 集中式工作流（Centralized Workflow） 模式：所有人都直接基于 main 开发。 优点：简单直接，上手成本最低。 缺点：多人并行开发时容易互相影响，不适合复杂项目。 适用：个人项目、小团队、低频发布场景。 2. 功...
基于CXL的MOE冷专家计算卸载
暂不公开.