首页
学习
活动
专区
圈层
工具
发布

正如网友笑我的,小白才用ollama做AI推理

我之前的技术文章,也就是关于AI本地部署聊天大模型的内容,分享过Ollama这款常用推理引擎的知识。更重要的还是我分享过国产AI推理引擎,为了普及给更多人,说是国产版的ollama,这些都被网友笑话过,他们说,小白个人才用ollama,专业环境下谁用那玩意儿?接受,话不假!

对于我们大众用户——懂点技术但又不太专业或者苦于折腾环境和配置的个人用户——的确更适合用ollama,它集成了大多数繁琐配置,让我们双击安装即用。

当然双击安装即用是指Windows用户。而在Ubuntu系统里反而有点麻烦,我就在机器人的OS里安装过,还不如llama.cpp其他的。

Ollama适合小白,简单但臃肿,llama.cpp,vLLM这些适合专业用,但的确对技术要求高又麻烦。所以折中下,我现在越来越觉得由Rust开发的shimmy推理引擎好用了。建议没试过的兄弟姐妹们个人用户试试,这玩意儿是真轻便好用啊,Windows版才13MB多。单文件运行,没臃肿的python,没llama.cpp!简直了,梦中情爱(AI)!

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OUNbnfXpqtMKgcBuyTGCoNJg0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券