并行排序算法与 TopK
双调排序 （Bitonic Sort）基本介绍常见的快排、归并排序，比较和交换的位置依赖于数据（谁大谁小要看运行时的值），这个特点很难在 SIMD / 多核硬件上高效并行。 双调排序是一个排序网络（sorting network）——每一步...
Dropout 算子优化与前沿论文阅读
Dropout 算子、Philox 随机数生成、Attention Dropout 复杂度与 FlashAttention RNG-GEMM overlap 优化综述
CPU SIMD 编程快速入门
系统介绍 CPU SIMD 编程体系，涵盖 x86 AVX/AVX-512/AMX、RISC-V RVV 与 ARM/Apple 平台实践，并附 memcpy/memset 及矩阵转置实现。
Linux weight interleave 实现分析
Linux 中带权内存交错分配实现方式mm/mempolicy.c 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647/...
《GPU并行编程与性能优化》阅读笔记
第一章 GPU硬件架构与CUDA开发环境配置1.1 CUDA设备架构详解 SM是GPU中最基本的计算单元，负责线程调度与数据处理，由多个计算核心CUDAcore和调度单元组成。 GPU中32个线程组成一个warp，是最小的调度单元，SM中的调度器...
Git 版本管理与开源
常见工作流1. 集中式工作流（Centralized Workflow） 模式：所有人都直接基于 main 开发。 优点：简单直接，上手成本最低。 缺点：多人并行开发时容易互相影响，不适合复杂项目。 适用：个人项目、小团队、低频发布场景。 2. 功...
基于CXL的MOE冷专家计算卸载
暂不公开.
异构内存最佳放置的手动探索
暂不公开.
CUDA算子优化-GEMM
转载、参考： https://zhuanlan.zhihu.com/p/1910636263666610461 计算量推导矩阵乘法： \(C = \alpha AB + \beta C\)\(A\) 形状为 \(M \times K\) ,\(B...