Window 安装 Llama.cpp freecrazy 2026-05-25T20:01:05+08:00 205

llama.cpp 安装使用教程

一、前因

Ollama 虽省心,但多少有点臃肿,于是乎,转战 llama.cpp ,速度快还高效

二、安装

找个地方建个目录,如 llama,下载对应版本的包,解压在同一个目录下

设置环境变量

cmd 中测试版本

三、使用

Hugging Face 中搜索 gguf 模型,下载后放在某个目录,在当前目录打开 CMD 输入 HTTP 命令。

llama-server -m .\DeepSeek-R1-Distill-Llama-8B-Q4_K_M.gguf -ngl 40 -c 4096 -t 10 -n 1024
  • -m 使用的模型
  • -ngl 使用 GPU 计算的层数 ,也可写成 -gpu-layers
  • -c 上下文长度
  • -t cpu 计算使用的线程数
  • -n 一次对话生成的 token 数

运行后打开对应的网页即可使用

四、总结

美滋滋

© 2021 - 2026 闲余悟道

载入运行时间...

avatar
关于我

癫狂乐天,狂放不羁,叛世逆俗,天纯不可一世。

跑酷

游戏玩腻,自个寻的,只喜纯跑,不喜炫技

滑板

身处异乡,未找到跑酷伙伴,转投滑板,oli练到死

骑行

通勤会的,通着通着成了爱好,不攀里数,不懂车构,菜腿一枚

爬山

老妈生错了生肖,喜欢在台阶或石头上蹦跶

设计

大学学的,PS效率实用流

代码

培训得的,已弃坑,得益于此,软件玩得起飞,如本博客内容

剪辑

无聊学的,人生苦短,想学的太多,学会罢了,我应该会了了吧……

写作

读书多了自然而然就……he,tui,人人都会,正在精进中

独自环过岛

海南岛,9天骑行,一人一包一帐篷,事故故事一堆堆

只身入过藏

心之所向,21点的太阳妙不可言

万里路

不少,如……

万卷书

微多,如……


人生苦短,繁华三千,可纵情声色,亦可摇桨泛舟。

碎年流光,若都平淡如水,岂非虚度一遭。

波澜不惊的一生虽不可恨,但数载光阴就历尽沧桑的生活应该更畅快。

别试图在文章末尾评论处留言,那只是摆设,不过若是打赏,我定会收到心意。联系方式本页社交链接中有猫腻。

清心决

心若冰清,天塌不惊。

万变犹定,神怡气静。

尘垢不沾,俗相不染。

虚空甯宓,浑然无物。

无有相生,难易相成。

份与物忘,同乎混涅。

天地无涯,万物齐一。

飞花落叶,虚怀若谷。

千般烦忧,才下心头。

即展眉头,灵台清幽。

心无挂碍,意无所执。

解心释神,莫然无魂。

水流心不惊,云在意俱迟。

一心不赘物,古今自逍遥。

自由转载-非商用-转载注明出处即可。