树莓派上的AI助理
一、前因
种种原因使我不得不研究如何在树莓派上调用本地显卡实现私人AI助理,这些原因有:
二、实现
之前有教程安装好了 LobeChat,不再赘述,window本地安装ollama,官网下载,一路下一步即可安装完成,之后打开命令行输入以下命令下载 llama3.1。
下载模型
ollama run llama3.1
在浏览器输入 http://127.0.0.1:11434/api/tags
有响应就成功
打开 lobechat,进到模型设置,如果你的 ollama 与你的树莓派在同一个局域网,填入 ip 地址即可,如果不在,可以使用内网穿透,比如:Zerotier,或者直接使用 IP6 访问。
不出意外都会出现意外,检查不通过,ollama 需要开启外部访问以及跨域。使用以下命令设置(仅限window),
setx OLLAMA_ORIGINS "*"
setx OLLAMA_HOST "0.0.0.0"
不出意外,这次可以了。
三、总结
收工!