Llama.cpp源码浅析

ggml

源码结构

学习入口函数

简单以llama.cli作为推理学习的入口。其入口函数main位置为：
llama.cpp/tool/main.cpp/main()

关键数据结构

内存管理

Arena 分配器

“批发内存，零售指针，整单清场”

批发内存：

零售指针

整场清除：

mmap

模型加载流程：

核心步骤：

llama_model_loadre 核心对象.

之后加载模型架构arch\超参数hparams\词表vocab\元数据信息、以及张量tensors