过去半年,我一直在纠结一个问题:对于团队内部的一些 AI 需求,到底是用云端的 API,还是自己买个显卡在本地跑?
云端 API 的好处很明显——省心、不用管硬件、模型选择多。但问题也很明显:数据要上传到第三方服务器,而且按照 tokens 计费,调用量大了之后成本并不低。
本地部署的好处——数据完全在自己手里,长期使用成本低,而且可以自由定制。
但代价也很直接:要花钱买硬件,要花时间折腾环境,而且本地模型的能力跟云端最强模型还有差距。
这篇文章是我从"纠结"到"实践"到"总结"的真实记录。
先说结论:如果不差钱,直接上双卡 4090 或 A6000。如果预算有限,单卡 4090 是目前性价比最高的选择。
最终我配了一台"AI 服务器":
配件 | 型号 | 价格 | 说明 |
|---|---|---|---|
GPU | RTX 4090 24GB × 1 | ~1.3万 | 24GB显存,能跑70B量化模型 |
CPU | Intel i7-13700KF | ~2800 | 够用,瓶颈在GPU |
内存 | 64GB DDR5 | ~1200 | 主要是加载大模型需要大内存 |
主板 | Z790 | ~2000 | 支持PCIe 4.0 x16 |
硬盘 | 2TB NV SSD | ~900 | 模型文件很占空间 |
电源 | 1000W 金牌 | ~1000 | 4090功耗不低 |
散热 | 水冷 | ~600 | GPU风冷够了,CPU上了水冷 |
总计 | ~2.2万 | 不含显示器键鼠 |
注意: 这是我去年底配的价格。现在 4090 已经涨价不少,如果预算不够,可以考虑 4070 Ti Super(16GB 显存,约 6000 元),也能跑 7B-14B 的模型。
显存 | 能跑的最大模型 | 推荐模型 |
|---|---|---|
8GB | 7B 级别(FP16) | Qwen2.5-7B、Llama-3-8B |
12GB | 13B 级别(FP16)/ 30B(量化) | CodeLlama-13B、Mistral-7B |
16GB | 30B 级别(量化4bit) | Qwen2.5-32B、Yi-34B |
24GB | 70B 级别(量化4bit) | Qwen2.5-72B、Llama-3-70B |
48GB(双卡) | 70B(FP16)/ 多模型并行 | 可跑满血70B + embedding模型 |
我选的软件栈是目前社区最成熟的:
Ollama(模型管理)
↓
Open WebUI(Web界面,对标ChatGPT)
↓
OneAPI(API代理,统一接口)Step 1:安装 Ollama
直接去 ollama.com 下载 Windows 安装包,下一步下一步搞定。装完后命令行就可以用了:
ollama pull qwen2.5:7b # 下载7B模型
ollama pull qwen2.5:72b # 如果有24GB显存,下72B量化版Step 2:安装 Open WebUI
用 Docker 装最方便:
docker run -d -p 3000:8080 \
-v open-webui:/app/backend/data \
-e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
--name open-webui \
ghcr.io/open-webui/open-webui:main访问 http://localhost:3000 就能看到一个类似 ChatGPT 的界面了。
Step 3:配置 OneAPI
OneAPI 可以把 Ollama 的接口统一成 OpenAI 兼容的格式。这样任何支持 OpenAI API 的应用(比如 Cursor、ChatGPT-Next-Web)都能直接连到本地模型。
模型 | 硬件 | 速度(tokens/s) | 感受 |
|---|---|---|---|
Qwen2.5-7B | 单卡4090 | 60-80 t/s | 秒级响应 |
Qwen2.5-32B(4bit) | 单卡4090 | 25-35 t/s | 流畅阅读 |
Qwen2.5-72B(4bit) | 单卡4090 | 10-15 t/s | 稍有延迟 |
Llama-3-70B(4bit) | 单卡4090 | 8-12 t/s | 需等待 |
72B 的量化模型在 4090 上大概每秒 10-15 个 tokens,写一段 200 字的回答需要等 5-10 秒。这个速度对于聊天场景勉强可以接受,但对于代码补全这种实时场景就不太够用了。
测试维度 | Qwen2.5-72B(本地) | GPT-4o(云端) | 差距 |
|---|---|---|---|
中文理解 | ★★★★★ | ★★★★☆ | 本地胜 |
代码生成 | ★★★★☆ | ★★★★★ | 云端胜 |
复杂推理 | ★★★☆☆ | ★★★★★ | 差距明显 |
指令遵循 | ★★★★☆ | ★★★★★ | 云端小胜 |
长文档处理 | ★★★☆☆ | ★★★★☆ | 云端胜 |
核心发现: 本地模型在日常问答、中文处理、知识库检索等场景下已经足够好用。但在复杂代码生成、多步推理、长文档分析等场景下,跟 GPT-4o 的差距还是比较明显的。
硬件一次性投入:约 2.2 万元(按我的配置)
项目 | 月成本 |
|---|---|
电费(24h运行) | ~200元(4090功耗约350W) |
网络/带宽 | 0(已有) |
维护时间 | 约2小时/月 |
月均运营 | ~200元 |
假设每天调用 1000 次,每次平均消耗 500 tokens(输入+输出):
方式 | 月成本 | 说明 |
|---|---|---|
GPT-4o API | ~$300(约2100元) | 0.01/1K输入,0.03/1K输出 |
Qwen-max API | ~¥100 | 国内模型,价格低很多 |
本地部署 | ¥200(电费) | 硬件成本摊销另算 |
用本地部署,大约 8-10 个月就能收回硬件成本(相比用 GPT-4o API)。之后就是纯省钱了。
如果你正在纠结要不要本地部署,我的建议是:先上云端,高频后再考虑本地。
先用云端 API 跑起来,确定你的场景确实有需求、调用量上来了(月消费超 500 元)、并且对模型能力的要求不是最高那一档——这个时候再投入硬件做本地部署,决策依据要充分得多。
我见过最亏的买法:买了一台 4 万多的双卡机器,结果用了一周觉得本地模型不够强,又回去用云端了,机器吃灰。
先验证需求,再投入硬件。 这是我被现实教育出来的结论。