GGML源码浅析(1) 基础数据结构、内存管理、后端管理
GGML 源码浅析(1)前言1.阅读路线 1.内存管理:不使用后端时(参见example/simple-ctx)介绍ggml中的重要数据结构以及内存管理 2.后端的设计逻辑 3.基于gpt-2学习模型构建过程中权重与kv-cache...
GGML 源码浅析(1)前言1.阅读路线 1.内存管理:不使用后端时(参见example/simple-ctx)介绍ggml中的重要数据结构以及内存管理 2.后端的设计逻辑 3.基于gpt-2学习模型构建过程中权重与kv-cache...
最近在实验中需要分析程序中的堆变量内存分配情况,一开始自己的实现是采用llvm IR Pass修改的方式,后来在OSDI的论文中发现相关的方法采用的是LD_PRELOAD的方式实现,一开始认为这种方法会更加简单,于是进行了实现,结果发现各有特点。 1...
内存性能分析中workloads介绍、特点、使用
Perf使用 杂记1.文档1.man+perf -h遇到新工具当然最好的方式是读文档,但是网络上找半天也没有找到很好的perf手册,最后发现在GPT的指引下,最好的手册害得是linux man手册。 上手最快最全面的方式:help+man 首先per...
//todo