llama.cpp
Llama.cpp源码浅析ggml 源码结构学习入口函数简单以llama.cli作为推理学习的入口。其入口函数main位置为:llama.cpp/tool/main.cpp/main() 关键数据结构内存管理Arena 分配器“批发内存,零售指针,整...
Llama.cpp源码浅析ggml 源码结构学习入口函数简单以llama.cli作为推理学习的入口。其入口函数main位置为:llama.cpp/tool/main.cpp/main() 关键数据结构内存管理Arena 分配器“批发内存,零售指针,整...
Perf使用 杂记1.文档1.man+perf -h遇到新工具当然最好的方式是读文档,但是网络上找半天也没有找到很好的perf手册,最后发现在GPT的指引下,最好的手册害得是linux man手册。 上手最快最全面的方式:help+man 首先per...
大模型基础概念入门Transformer自注意力(Self-Attention)Q\K\V Q:目前关系的问题,当前token; K:token的标签 V:包含的信息 Q*K得到谁更重要,之后再乘以V得到这些重要的人说了什么信息。 除以根号dk与so...
Hexo部署过程中遇到的一些问题图片与Typora兼容网上给了很多方法,尝试没有效果,自己尝试的方案: 卸载插件hexo-asset-image: yarn remove hexo-asset-image,GitHub有修改的对应插件,但是使用...