[诸神缄默不语-个人技术博文与视频目录](https://blog.csdn.net/PolarisRisingWar/article/details/116396744)

在这一章介绍的是，已经有了AI大模型推理服务（不管是云端API还是本地服务），想要一个像聊天框那样的界面来跟大模型聊天、或者让大模型做更复杂的工作。  
本章主要考虑的功能还是AI对话，包括工具调用、知识检索增强。现在有一批以OpenClaw为首的、更重视聊天通道接入+本地工具操作的智能体工具，关注点不太一样，但是都可以做一样的事，我随后的文章会更详细地针对不同的角度进行介绍。OpenClaw使用腾讯云部署的操作教程可以参考我写的另一篇博文：[如何用腾讯云轻量应用服务器内置OpenClaw应用搭建OpenClaw并接入QQ、飞书机器人，下载skill，开启对话](https://mp.weixin.qq.com/s/ISVAdP_lAOwMJuUSDgnwrQ)

[TOC]

# 一、工具速查表

| 工具 | 一句话定位 | 最佳场景 | 特色功能 | 上手难度 |
|------|-----------|---------|---------|---------|
| **AnythingLLM** | 企业级 RAG 知识库应用 | 文档问答、私有知识管理 | 全文档格式支持、多工作区、内置网页爬虫 | ⭐⭐ 较低 |
| **Cherry Studio** | 全能型多模型 AI 工作平台 | 多模型切换、跨平台使用 | 300+ 预置助手、知识库、本地数据存储 | ⭐ 极低 |
| **ChatBox** | 轻量级跨平台 AI 聊天客户端 | 日常对话、多端同步 | 极简设计、多模型支持、本地存储 | ⭐ 极低 |
| **FastGPT** | 开源 LLM 应用开发平台 | 复杂工作流编排、Agent 构建 | 可视化工作流、RAG 检索、搜索引擎集成 | ⭐⭐⭐ 中等 |
| **OpenClaw** | 全权限 AI 智能体（原 Clawdbot） | 自动化任务、代码生成执行 | 控制电脑执行命令、插件生态 | ⭐⭐⭐ 中等 |
| **Memu** | 具备长期记忆的主动式助手 | 个人助理、习惯学习 | 本地知识图谱、跨会话记忆 | ⭐⭐⭐ 中等 |
| **Nanobot** | 基于 MCP 的超轻量 CLI 智能体 | 开发者自定义工具链 | MCP 协议、模块化、极低资源 | ⭐⭐⭐⭐ 较难 |
| **LM Studio** | 开箱即用的桌面 GUI | 模型探索与可视化交互 | 内置模型市场、API 服务 | ⭐ 极低 |
| **Jan** | 开源跨平台桌面应用 | 日常使用、简单对话 | 完全开源、本地优先 | ⭐ 极低 |
| **Open WebUI** | 浏览器端 ChatGPT 克隆 | 团队共享、多用户访问 | 类 ChatGPT 界面、多模型切换 | ⭐⭐ 较低 |


# 二、选型必读：核心工具深度对比

## 🎯 AnythingLLM——企业级知识库的首选

**核心定位：** 一款隐私优先的 AI 应用，特别擅长做一件事——让你与自己的文档对话。支持 PDF、TXT、DOCX、Excel 等几乎所有文档格式，还能爬取网页内容构建知识库。

**优点：**
- **RAG 能力强大**：内置向量数据库，支持文档分块、嵌入和检索，问答质量高
- **多工作区隔离**：可以为不同项目创建独立的知识库，互不干扰
- **多模型支持**：兼容 Ollama、OpenAI、Anthropic、Gemini 等多种后端
- **开源且许可证友好**：采用 MIT 许可证，可自由用于商业项目

**缺点：**
- **资源占用偏高**：运行向量数据库需要一定的内存
- **配置稍复杂**：相比纯聊天工具，需要配置嵌入模型和向量数据库

> 💡 **一句话总结**：如果你需要搭建企业内部的“文档问答机器人”，AnythingLLM 是目前最成熟的开源方案。GitHub 上有 5.5 万+ star，社区活跃度高。


## 🍒 Cherry Studio——全平台全能型选手

**核心定位：** 一款支持 Windows、macOS、iOS 的 AI 客户端，主打“一个工具，调用所有模型”。内置 300+ 预配置的 AI 助手，覆盖写作、编程、翻译等场景。

**优点：**
- **多模型无缝切换**：支持 OpenAI、Gemini、Anthropic 以及 Ollama 本地模型
- **本地数据存储**：对话记录存在本地，隐私安全
- **个性化知识库**：可以构建自己的知识库进行 RAG 问答
- **界面精美**：现代化设计，用户体验流畅

**缺点：**
- **许可证限制**：采用 AGPL-3.0 许可证，商业使用有一定限制
- **部分高级功能需付费**：虽然开源，但某些特性需要订阅

> 💡 **一句话总结**：如果你在多个设备上工作，需要一个“模型聚合器”，Cherry Studio 是颜值和功能都在线的选择。月访问量近 50 万，社区认可度高。


## 📦 ChatBox——极简主义者的最爱

**核心定位：** 一款轻量级的 AI 聊天客户端，主打“小而美”。支持 Windows、macOS、Linux，还能在移动端使用。

**优点：**
- **极简操作**：打开即用，没有复杂配置
- **多端同步**：对话历史可以在不同设备间同步
- **多模型支持**：兼容 OpenAI、Ollama 等常见后端
- **本地优先**：数据存在本地，隐私有保障

**缺点：**
- **功能单一**：主要就是聊天，没有知识库、工作流等高级功能
- **扩展性有限**：不适合复杂场景

> 💡 **一句话总结**：如果你只需要一个“能聊天的界面”，不想折腾任何配置，ChatBox 是最轻量的选择。


## ⚙️ FastGPT——工作流编排的利器

**核心定位：** 一款开源的 LLM 应用开发平台，强调可视化工作流编排。可以像搭积木一样构建复杂的 AI 应用，支持 RAG 检索、工具调用和多步推理。

**优点：**
- **可视化工作流**：拖拽式编排，无需写代码
- **强大的 RAG 能力**：支持知识库检索 + 重排序，问答质量高
- **可集成搜索引擎**：可以接入 SearXNG 等元搜索引擎实现联网搜索
- **Agent 构建能力**：支持构建能调用工具的智能体

**缺点：**
- **部署稍复杂**：需要配置多个组件（数据库、搜索引擎等）
- **资源消耗大**：完整部署需要较高配置

> 💡 **一句话总结**：如果你是开发者，想构建复杂的 AI 应用（如客服机器人、企业内部问答系统），FastGPT 是目前功能最完善的开源方案。


## 🦞 OpenClaw——全权限的“钢铁侠”智能体

**核心定位：** 一个赋予 AI 操控你电脑权限的智能体框架。它可以执行命令、操作文件、发送消息、部署代码——前提是你敢给它这个权限。

**优点：**
- **功能极其强大**：可以完成“帮我部署一个 React 应用”这样的复杂任务
- **多平台集成**：支持 Telegram、Discord、Slack 等渠道接入
- **庞大社区**：GitHub 上已获 10 万+ star，插件生态丰富

**缺点：**
- **安全风险高**：本质上给了 AI 对电脑的“sudo 权限”，曾有幻觉删除系统目录的报道
- **资源消耗大**：运行臃肿，消耗大量 API token（如果用云端模型）
- **配置复杂**：52+ 模块、8 个配置文件、45+ 依赖项

> ⚠️ **安全警告**：请在 Docker 容器中运行 OpenClaw，并做好文件系统隔离。切勿在生产环境或存有重要数据的设备上直接运行。

> 💡 **一句话总结**：OpenClaw 代表了 AI 智能体的前沿——让 AI 真正“做事”而不是“说话”。但它是一把双刃剑，适合有技术背景且愿意承担风险的极客。


## 🧠 Memu——会“记住”你的主动式助手

**核心定位：** 一个具备长期记忆能力的 AI 助手。传统聊天工具在会话结束后就“失忆”了，但 Memu 会构建本地知识图谱，记录你的偏好、过往项目和习惯。

**优点：**
- **长期记忆**：三天前你让它写博客用的“语气”，它还记得
- **主动式**：不仅被动响应，还会根据历史记录主动提建议
- **本地运行**：数据隐私有保障，且成本低于 OpenClaw
- **低成本**：会优化发送给 LLM 的信息，减少 token 消耗

**缺点：**
- **执行能力略弱**：更像“秘书/助理”，而不是“执行者”
- **历史导入麻烦**：如果想让 AI 了解你的大量历史记录，配置过程较繁琐

> 💡 **一句话总结**：如果你想要一个能“了解你”、“记住你”的个人助理，Memu 是目前最贴近这一愿景的工具。


## 🔧 Nanobot——开发者的“瑞士军刀”

**核心定位：** 一个基于模型上下文协议（MCP）构建的超轻量级命令行智能体。它不试图包揽一切，而是让你像搭积木一样组装自己的 AI 工具链。

**优点：**
- **极轻量**：启动快、资源占用极低
- **高度模块化**：可以轻松接入“GitHub 工具”、“Slack 工具”等 MCP 服务器
- **Unix 哲学**：专注做好一件事，可与其他工具组合
- **代码简洁**：整个代码库很小，8 分钟就能理解核心逻辑

**缺点：**
- **DIY 属性强**：开箱即用功能少，需要自己配置 MCP 服务器
- **文档不完善**：更新太快，文档跟不上，高级配置需要读源码

> 💡 **一句话总结**：如果你是开发者，讨厌臃肿的软件，想用命令行 + 脚本的方式自定义 AI 工作流，Nanobot 是你的完美选择。


# 三、核心能力深度解析

## 🌐 联网搜索：让 AI 获取实时信息

本地模型的知识截止于训练完成那一刻，要让 AI 获取最新信息，就需要联网搜索能力。

**主流方案对比：**

| 方案 | 实现方式 | 优点 | 缺点 |
|------|---------|------|------|
| **SearXNG** | 自托管元搜索引擎 | 隐私友好、免费、聚合多引擎结果 | 需要自己部署 |
| **内置搜索插件** | 工具自带（如 FastGPT） | 开箱即用 | 依赖特定工具 |
| **自定义搜索 API** | 接入 Bing/Google API | 结果质量高 | 需要 API Key、有费用 |

**实战案例——FastGPT + SearXNG：**
1. 用 Sealos 部署 SearXNG 搜索引擎（配置 CPU 0.2 核、内存 512M）
2. 获取 SearXNG 公网地址
3. 在 FastGPT 工作流中添加“搜索节点”，填入搜索引擎地址
4. 用户提问时，工作流会自动调用搜索引擎获取实时信息


## 📚 知识库检索（RAG）：让 AI 读懂你的专属文档

RAG（检索增强生成）是目前本地知识库的核心技术。简单说就是：用户提问 → 去知识库里找相关内容 → 把问题和相关内容一起发给 AI → AI 基于这些信息回答。

**主流工具 RAG 能力对比：**

| 工具 | 文档格式支持 | 分块策略 | 嵌入模型 | 重排序 |
|------|-------------|---------|---------|--------|
| AnythingLLM | PDF/Word/Excel/TXT/网页 | 可配置 | 多种可选 | 支持 |
| Cherry Studio | 文本为主 | 内置 | 内置 | 不支持 |
| FastGPT | 丰富（需配置） | 可配置 | bge-m3 等 | 支持 reranker |
| ChatBox | 基础 | 简单 | 依赖模型 | 不支持 |

**实战案例——FastGPT 知识库搭建：**
1. 配置嵌入模型：选用 BAAI/bge-m3（硅基流动提供）
2. 配置重排模型：选用 BAAI/bge-reranker-v2-m3（提升检索精度）
3. 创建知识库：上传文档（PDF/TXT 等），系统自动切片和向量化
4. 在工作流中引用知识库节点


## 🔧 工具调用（Function Calling）：让 AI 真正“做事”

工具调用是区分“聊天机器人”和“AI 智能体”的关键能力。让 AI 不仅能回答问题，还能执行操作——发送邮件、创建文件、调用 API 等。

**工具调用能力对比：**

| 工具 | 调用方式 | 安全性 | 适用场景 |
|------|---------|--------|---------|
| OpenClaw | 直接执行系统命令 | ⚠️ 高风险 | 自动化开发任务 |
| Nanobot | MCP 协议调用 | 较高（容器隔离） | 开发者工具链 |
| FastGPT | 工作流内置工具 | 可控 | 企业应用 |
| Memu | 内置执行器 | 中等 | 个人助理 |

**MCP（模型上下文协议）是什么？**
MCP 是一种新兴的标准化协议，让 AI 应用可以像调用 API 一样调用外部工具。Nanobot 就是基于 MCP 构建的代表性工具。


# 四、选型决策树

根据你的实际需求，沿着这条路径找到最适合的工具：

```
开始
  │
  ├─ 你需要什么？
  │   │
  │   ├─ 纯聊天 + 多模型切换
  │   │   └─ 要跨平台同步？→ Cherry Studio
  │   │   └─ 只要轻量、极简？→ ChatBox
  │   │   └─ 想要开源的桌面端？→ Jan
  │   │
  │   ├─ 知识库问答（读懂我的文档）
  │   │   └─ 企业级、格式多、要私有化？→ AnythingLLM
  │   │   └─ 需要复杂工作流 + 搜索引擎？→ FastGPT
  │   │   └─ 个人用、简单知识库？→ Cherry Studio
  │   │
  │   ├─ AI 智能体（让 AI 干活）
  │   │   └─ 你是极客、追求最强能力？→ OpenClaw（记得上 Docker）
  │   │   └─ 你要长期记忆、个人助理？→ Memu
  │   │   └─ 你是开发者、要定制工具链？→ Nanobot
  │   │
  │   └─ 模型探索、可视化体验
  │       └─ 要开箱即用、完全离线？→ LM Studio
  │
  └─ 不确定？从 AnythingLLM + Ollama 开始，这是最稳妥的组合
```


# 五、实战操作：三步搭建你的第一个本地知识库

以 **AnythingLLM + Ollama** 为例，30 分钟搭建一个能读懂你文档的 AI 助手。

## 准备工作
- 已安装 Ollama（参考本系列第一篇）
- 已拉取一个模型，如 `ollama pull llama3.2`

## 步骤 1：下载并安装 AnythingLLM

访问 [anythingllm.com](https://anythingllm.com) 下载对应平台的安装包。

## 步骤 2：配置模型连接

1. 打开 AnythingLLM，进入设置
2. 选择 **LLM 偏好** → **Ollama**
3. 填写 Ollama API 地址：`http://localhost:11434`
4. 选择你在 Ollama 中拉取的模型

## 步骤 3：创建工作区并上传文档

1. 点击 **新建工作区**（Workspace），给它起个名字
2. 进入工作区，点击 **上传文档** 或 **输入网址**
3. 上传你的 PDF、Word 或 TXT 文件
4. 等待系统处理（切片、向量化）
5. 开始提问！AnythingLLM 会自动检索相关文档内容并生成回答

**效果测试**：
上传一份公司内部制度文档后，问：“我们的年假有几天？”AI 会基于文档内容回答，而不是凭空猜测。


# 写在最后

从本地模型部署到友好的 Chat UI，再到能理解你文档、执行你任务的智能体——2026 年的本地 AI 工具生态已经相当成熟。

一个务实的建议：**从“AnythingLLM + Ollama”开始**。这是最低门槛的组合，能让你立即体验到本地知识库问答的魅力。当你需要更复杂的能力（联网搜索、工作流编排、工具调用）时，再逐步引入 FastGPT 或探索 OpenClaw 等智能体工具。

AI 的能力再强，也需要一个入口让你使用它。选择合适的 UI 和智能体工具，就是为你的本地 LLM 配上“嘴巴”和“手脚”，让它真正为你所用。

![image.png](https://developer.qcloudimg.com/http-save/yehe-5595269/6296418754a7e91a17a5b264f877e115.png)

在这一章介绍的是，已经有了AI大模型推理服务（不管是云端API还是本地服务），想要一个像聊天框那样的界面来跟大模型聊天、或者让大模型做更复杂的工作。  本章主要考虑的功能还是AI对话，包括工具调用、知识检索增强。现在有一批以OpenClaw为首的、更重视聊天通道接入+本地工具操作的智能体工具，关注点不太一样，但是都可以做一样的事，我随后的文章会更详细地针对不同的角度进行介绍。OpenClaw使用腾讯云部署的操作教程可以参考我写的另一篇博文：如何用腾讯云轻量应用服务器内置OpenClaw应用搭建OpenClaw并接入QQ、飞书机器人，下载skill，开启对话

本地AI聊天、交互助手（写给小白的LLM工具选型系列：第三篇）

本文介绍在已有大模型推理服务（云端 API 或本地模型）基础上，如何选择合适的 Chat UI 与智能体工具。文章整理了 AnythingLLM、Cherry Studio、FastGPT、OpenClaw 等主流工具，并从知识库 RAG、联网搜索、工具调用等能力进行对比，给出选型决策与实战示例，帮助用户快速搭建可聊天、可检索文档、可执行任务的 AI 应用入口。

程序开发工程师

云计算

人工智能

开发工具

探索AI大模型交互工具指南：从聊天界面到智能助手，对比AnythingLLM、CherryStudio等主流工具的核心功能与适用场景。涵盖知识库检索、工具调用等关键技术，提供选型决策树与实战搭建教程，助您快速构建本地AI应用。

2026采购季 | AI焕新·智启新局

tencentdb-catalog

4核4G3M云服务器 新用户低至38元/年！

对象存储COS新用户低至1元！


cscbot

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

本地AI聊天、交互助手（写给小白的LLM工具选型系列：第三篇）-腾讯云开发者社区-腾讯云

本地AI聊天、交互助手（写给小白的LLM工具选型系列：第三篇）

本地AI聊天、交互助手（写给小白的LLM工具选型系列：第三篇）

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐