打算在自己机器上跑模型的朋友，先翻翻这份合集找找方向

玩大模型的人都有个纠结：数据不想上云，但工具又多又乱

有人把推理引擎、界面、模型、工具链、硬件、教程，收进同一份清单

01

PART

想本地跑大模型，难在哪

THE PAIN

先说清楚，这不是一个推理引擎，它本身不能跑模型。这是一份「本地 LLM 资源地图」——把别人做好的引擎、界面、模型、工具，按用途分好类、串成链接给你。

但正因为它不跑模型，反而戳中了一堆人的真痛点：

++信息太散++：引擎一堆、界面一堆、模型又一堆，新人一上来就懵，选型基本靠运气和别人的安利。

++隐私焦虑++：很多工具默认走云端 API，数据要上传，想完全本地跑反而不知道从哪搭。

++版本太快++：模型半月一更新，今天的热门明天就过时，谁也没空天天追。

++门槛不明++：到底要多大显存、多大内存、什么芯片，新人根本没概念。

这类清单的价值，就是把「我该用哪个」这个最费劲的问题，先替你压缩成「从哪一类开始看」。

02

PART

这份清单到底长什么样

THE MAP

它按「从底层到上层」把本地 LLM 生态拆成七大类，每一类下面都是可直接点进去的项目链接：

01

推理平台

LM Studio / Jan / LocalAI

02

推理引擎

ollama / llama.cpp / vllm

03

用户界面

Open WebUI / Lobe Chat

04

大语言模型

通用 / 编程 / 多模态

05

工具链

Agent / RAG / 训练

06

硬件

评测 / 显存计算

07

教程

提示 / 上下文 / RAG

光看分类你可能没感觉，举个具体的：推理引擎这一类就收了 ollama、llama.cpp、vllm、exo、BitNet、sglang 等十几个；工具链更夸张，从 Agent 框架（langchain、crewAI、AutoGPT）、RAG（graphrag、LightRAG）、电脑操控（open-interpreter、OmniParser）、浏览器自动化，到记忆管理、评测、训练微调，加起来六七十个都不止。

重点不在数量，在于它标了「本地优先、全离线」的路线——比如 Jan 被它归成 ChatGPT 的离线替代品，LocalAI 是 OpenAI API 的开源替代，ZLUDA 让你在 AMD 卡上跑 CUDA。路线感比堆叠链接有用得多。

03

PART

几个值得先掏出来看看的

WORTH A LOOK

亮点 1

llama.cpp

几乎整个本地推理生态的底座。纯 C/C++，从树莓派到服务器都能编，是后面很多界面和引擎的起点。

亮点 2

Ollama

把「拉模型、跑模型」做成了一行命令的体验，新人最友好的入口，本地试模型先从这个开始。

亮点 3

Jan

主打全离线的桌面客户端，定位就是 ChatGPT 的本地替代，不想数据上云的人第一反应。

亮点 4

LocalAI

OpenAI 兼容 API 的开源替代，能直接接你现有的应用，把云端换成自家机器几乎不用改代码。

亮点 5

LM Studio

图形化的「发现模型、下载模型、本地对话」，不想碰命令行的人用这个最省心。

亮点 6

Open WebUI

目前最流行的自托管聊天前端，能挂各种后端，社区插件多，自己搭一套很顺手。

04

PART

这份清单怎么用

HOW TO USE

它本身不用安装，就是 GitHub 上的一个 Markdown 页面。用法很朴素：打开仓库，按目录锚点跳到你需要的那一类，点项目链接进各自的 README 照着装。

如果你只是想先感受一下「本地跑模型」有多简单，清单里最常被提到的 Ollama，三行就能把第一个模型跑起来：

...bash

ollama pull qwen3:0.6b # 拉一个轻量中文模型到本地

ollama run qwen3:0.6b # 直接在终端里对话

# 全程在本地，数据不出本机

这只是一个入口示例，清单里能玩的东西远不止这些——从一台笔记本跑小模型，到多卡组集群推理，路线都给你画好了。

///

LAST

坦诚局：清单的边界

MY TAKE

几个得说清楚的事：

它 ++只索引、不维护++。下面每个子项目的好坏、是否还活跃，得你自己判断，清单本身不替你背书。

++1.1K Star 仍偏小众++，覆盖面可能不如一些官方维护的 awesome 列表那么全，更像是个人精选而非百科。

仓库 ++未声明许可证++（license 为空），真要商用或大规模引用前最好先确认。

内容 ++可能过时++：模型圈更新极快，今天列的热门，过俩月未必还是它，定期回来看一眼。

我说两句：我自己的感受是，这类清单的价值从来不在「全」，在于「有人替你先踩过一遍坑、分好类、标好路线」。对新手，它是一张不会迷路的地图；对老手，它是个查漏补缺的清单。

如果你正打算把 AI 从云端搬回本地，又不知道从哪下手，这份清单值得先翻一遍，至少能帮你把「我要的是什么」想清楚。但别把它当圣经——真正用得顺不顺，还得你亲自跑一遍。

这年头，愿意把散落各处的好东西慢慢收拢、还持续更新的维护者，本身就值得一句谢谢。

开源地址：https://github.com/0xSojalSec/LLMs-local

开源先驱，专注分享 AI 工具与硬核开源实战，欢迎关注