我之前的技术文章,也就是关于AI本地部署聊天大模型的内容,分享过Ollama这款常用推理引擎的知识。更重要的还是我分享过国产AI推理引擎,为了普及给更多人,说是国产版的ollama,这些都被网友笑话过,他们说,小白个人才用ollama,专业环境下谁用那玩意儿?接受,话不假!
对于我们大众用户——懂点技术但又不太专业或者苦于折腾环境和配置的个人用户——的确更适合用ollama,它集成了大多数繁琐配置,让我们双击安装即用。
当然双击安装即用是指Windows用户。而在Ubuntu系统里反而有点麻烦,我就在机器人的OS里安装过,还不如llama.cpp其他的。
Ollama适合小白,简单但臃肿,llama.cpp,vLLM这些适合专业用,但的确对技术要求高又麻烦。所以折中下,我现在越来越觉得由Rust开发的shimmy推理引擎好用了。建议没试过的兄弟姐妹们个人用户试试,这玩意儿是真轻便好用啊,Windows版才13MB多。单文件运行,没臃肿的python,没llama.cpp!简直了,梦中情爱(AI)!