采用Ollama运行本地大模型

模型的选择 在官网，点击models，按照 most popular进行排序，或者点击模型进行搜索。 国内比较好的模型，如glm4和qwen系列均可选择 注意：模型对内存和显卡有要求，根据电脑的实际配置选取模型。 比如，8G显存32G内存的配置，可以流程运行9B左右的模型，但运行大于32B以上的模型就比较吃力，推理速度很慢。 运行 打开cmd，输入ollama run {模型名称}，如，运行glm4-9b，则执行 ollama run glm4:9b 如果之前没有下载该模型，那么系统会首先下载模型，下载后运行，其中下载速度还是很快的 在推理的时候，显存使用率较高，如果模型较大，则推理速度较慢。8G显存在运行9B模型的时候，非常丝滑，在运行14B模型的时候，类似打字机一样，比较慢。

Ollama深度解析：2025年本地大语言模型运行平台的革命者

一、Ollama的概念与背景 1.1 什么是Ollama Ollama是一个开源的、轻量级的本地大语言模型运行和管理平台，它允许用户在自己的设备上轻松运行、创建和分享各种大语言模型。 run llama3 # 指定模型版本 ollama run llama3:8b-instruct-q4_0 // 模型下载核心逻辑示例 func (m *Manager) Pull(modelName 3.3 性能优化功能 Ollama在性能优化方面做了大量工作，使得大语言模型能够在普通硬件上高效运行： 模型量化：支持多种量化技术(Q2、Q3、Q4、Q5、Q8等)，减小模型体积，提高推理速度 // 模型量化示例 rm llama3:old-version 这些基本的使用教程，让用户能够快速上手Ollama，并开始利用本地大语言模型的强大能力。 九、结论 Ollama作为一款开源、轻量级的本地大语言模型运行和管理平台，通过其出色的性能、易用性和隐私保护特性，重新定义了人们使用AI模型的方式。

SwiftUI-MLX本地大模型开发

MLX 中的 MLXLLM 模块提供了一种简单的方法来在本地设备（iPhone/iPad/Mac）使用预训练的大语言模型 (LLMs) 进行推理。 使用步骤 添加 MLXLLM Package。 选择某个预训练模型。 加载选择的预训练模型。 创建输入（Prompt）。 进行推理。 案例 代码。 } extension ContentView { func generate() async throws { isLoading = true // 加载模型 （第一次使用会下载） let modelConfiguration = ModelRegistry.llama3_2_1B_4bit let modelContainer gray) Text(text) .font(.system(size: 16)) .lineSpacing(4)

搭建本地大模型之LM Studio

macOS 芯片：苹果硅（M1/M2/M3/M4）。 macOS 13.4 或更高版本是必需的。 对于 MLX 模型，需要 macOS 14.0 或更高版本。 16GB+内存推荐。 设置中文 右下角设置 设置模型目录 模型目录最好不要有中文特殊符号,最好是英文字母 下载模型 如果可以访问国外网站 镜像网站下载 https://hf-mirror.com/ 下载gguf模型放到前面设置的模型目录里面 模型挑选 模型文件大小小于自己显存大小,但接近显存大小的效果肯定越好 GGUF模型 GGUF，全称 GPT-Generated Unified Format，是一种新型的文件格式专门用于存储和交换大型机器学习模型的数据 GGUF可以有多重不同版本的量化，Q2、Q3、Q4、Q5、Q6、Q8，这些数字表示模型权重的位数，位数越高，模型的精度通常越高，但所需的存储空间和计算资源也越多。 *量化是指将模型中的高精度数字转换为低精度数字，以减少模型的存储空间和计算需求。

Mac Studio M4 通过 vLLM 部署本地大模型，对接 Jeecg-AI

硬件配置与能力评估项目规格对大模型的意义芯片Apple M4 Max最新架构，MLX 性能最优CPU16 核（12 性能 + 4 能效）预处理 / Tokenizer 充裕GPU40 核 MetalMetal 模型选型推荐基于 128GB 内存，以下是推荐的模型（均为 MLX 格式，位于 Hugging Face 的 mlx-community 组织下）：模型名称内存占用优势推荐等级Qwen3-30B-A3B 可尝试内存估算规则： 4bit 量化模型的内存占用 ≈ 参数量 × 0.5 字节 + KV Cache。 /Qwen2.5-72B-Instruct-4bit \ --port 8000 \ --host 0.0.0.0# 方式二：本地模型（已手动下载）vllm serve ~/models/Qwen2.5 指定服务端口--host 0.0.0.0 允许局域网内其他设备访问，如果只在本机使用可省略首次启动时会自动下载模型，72B-4bit 模型约 42GB，请耐心等待。

探索GPT4All：开源的本地大型语言模型生态系统

本文将对GPT4All进行全面介绍，包括它的特点、使用方式、最新更新和如何为该项目做出贡献。 项目概述 GPT4All是一个开源的大型语言模型，它允许在本地CPU和几乎任何GPU上运行。 这意味着用户可以在自己的设备上运行和定制这些模型，而无需依赖云服务。GPT4All模型文件的大小介于3GB到8GB之间，用户可以下载并插入到GPT4All的开源生态系统软件中。 该项目由Nomic AI支持和维护，以确保软件生态系统的质量和安全性，并引领任何个人或企业轻松训练和部署自己的本地大型语言模型的努力。 最新更新 GPT4All定期发布更新以引入新功能和性能改进。一些最近的更新包括： GGUF支持的推出：支持Mistral 7b基础模型和多个新的本地代码模型。 结语 GPT4All提供了一个强大的工具，让用户和开发者能够在本地运行和定制大型语言模型。

SwiftUI-MLX本地大模型开发（四）

介绍 在 SwiftUI-MLX本地大模型开发、SwiftUI-MLX本地大模型开发（二）与 SwiftUI-MLX本地大模型开发（三）中，我们解决了基本使用、定制模型、使用本地模型、更改模型存储路径、 转换模型、iPad运行等问题，但使用的都是别人训练好的模型。 本文将介绍，如何基于一个通用 LLM 进行微调，使该模型成为个人的“专属”模型。 --train \ --model /Users/yangfan/Documents/huggingface/models/mlx-community/Llama-3.2-1B-Instruct-4bit 原始模型效果.gif 微调模型效果。 微调模型.gif

SwiftUI-MLX本地大模型开发（五）

因此在将 LLM 引入到项目之前，首先应该判断该模型是否符合项目的需求。如何快速测试 LLM 的效果成为了最先应该完成的工作，而 llm-tool 就是一个绝佳的测试工具。 适配本地模型：适用于运行在 Apple Silicon 上的 MLX 模型。 支持资源监控：可输出内存占用等性能指标，方便优化推理策略。

《OpenClaw本地大模型部署与多模型协作指南》

前者采用分层解耦的架构，将模型接入、任务调度、工具执行与记忆存储完全分离，使得替换模型提供商变得异常简单。后者则专注于简化本地大模型的部署与管理，通过统一的接口屏蔽了不同模型之间的技术差异。 对于拥有更高端硬件的用户，二十七亿甚至七十亿参数级别的模型能够提供接近云端模型的能力。量化技术是降低本地大模型使用门槛的核心手段，它通过牺牲少量精度来大幅减少模型的内存占用。 这种量化方式将七亿参数模型的显存需求从十四GB降低到四GB左右，精度损失控制在百分之二以内，对于绝大多数应用场景来说几乎无法察觉。内存管理优化对于提升本地大模型的运行稳定性至关重要。 结合本地大模型的推理能力，这些技能能够完成各种复杂的任务，极大地扩展了系统的应用范围。多渠道交互能力使得用户可以通过多种方式与OpenClaw进行通信。 未来的发展方向是进一步提升本地大模型的能力和效率，同时简化部署和使用的难度。随着硬件技术的不断进步，越来越强大的模型将能够在消费级设备上运行。

SwiftUI-MLX本地大模型开发（二）

介绍 在 SwiftUI-MLX本地大模型开发一文中，我们已经详细讲了如何利用 MLX 进行本地大模型的开发。但是通过案例可以发现 2 个问题： MLX 内置的大模型数量有限。 // MARK: - 注册自定义模型，模型必须为MLX格式 extension MLXLLM.ModelRegistry { public static let llama3_2_3B_4bit = ModelConfiguration( id: "mlx-community/Llama-3.2-3B-Instruct-4bit", // Hugging Face上模型的仓库路径 // let modelConfiguration = ModelRegistry.llama3_2_3B_4bit let modelConfiguration = Text(text) .font(.system(size: 16)) .lineSpacing(4)

SwiftUI-MLX本地大模型开发（三）

介绍 在 SwiftUI-MLX本地大模型开发（二）一文中，我们解决了模型定制与使用离线大模型的问题，今天讲解以下 3 个问题： 模型存储路径。 模型转换。 iPad 运行。 模型存储路径 模型下载的默认位置为：/Users/yangfan/Documents/huggingface/models/mlx-community（macOS）或者 sandbox 下的Documents 通过HubApi可以更改模型在本地的存储路径。 URL.downloadsDirectory.appending(path: "mlx_models")) let modelConfiguration = ModelRegistry.llama3_2_1B_4bit Text(text) .font(.system(size: 16)) .lineSpacing(4)

《本地大模型+Chrome插件：离线生产力指南》

此外，还可以支持接入不同的大模型服务，让用户可以根据自己的喜好和需求选择合适的模型，提高插件的灵活性和适应性。用户行为学习与个性化适配系统，能够让插件随着使用时间的推移变得越来越智能。 本地大模型的支持是无人值守插件未来的发展方向。目前大多数无人值守插件都依赖云端的大模型服务，这不仅会产生一定的费用，而且还存在数据隐私泄露的风险。 随着本地大模型技术的不断发展，越来越多的大模型可以在普通的个人电脑上运行，而且性能也在不断提升。 未来的无人值守插件应该支持接入本地运行的大模型，所有的计算都在用户的本地设备上完成，不需要依赖云端服务器。 在没有网络连接的环境下，云端的大模型服务无法使用，传统的AI插件就会完全失效。而支持本地大模型的无人值守插件，可以在断网的情况下继续运行，利用本地的计算资源完成基础的任务。

让本地大模型不再重复推理的缓存技巧

本地跑大模型的人都遇到过这个问题：同样的问题换个说法问，模型又要重新推理一遍。明明"怎么退款"和"如何申请退货"说的是一回事，但缓存系统不认识，每次都得等几秒钟。 这里分享一个解决本地大语言模型重复查询效率问题的工具。这个名为constraint-cache的Python库通过将语义相似的查询规范化为统一的缓存键，实现了近乎即时的重复查询响应。

Hermes agent+本地大模型，让Zabbix听懂人话

本文档详细介绍如何通过LM Studio调用本地部署的Google Gemma4开源大模型，配置Hermes agent，实现对Zabbix监控系统的智能化操作，提升运维管理效率。 ，如下图： 配置对接LM Studio中提供的本地大模型，如下图： 执行Hermes agent配置查看命令： hermes config Hermes agent配置信息如下图： 4.2 测试连接 运行以下命令测试与本地大模型的通信是否正常，若返回大模型的响应，则配置成功。 更换其他大模型：Hermes agent支持 OpenAI API 格式的任何模型（包括 GPT-4、Claude、本地 Ollama 等）。 七、结语 基于配置启用Gemma4模型的Hermes agent，实现对 Zabbix监控系统的智能化查询、主机自动添加和性能数据导出。

【C语言】错题本(4)

LM Studio本地大模型调用实战

1 选择模型在 LM Studio 的 “开发者” 选项卡中选择模型：2 端口暴露设置暴露的端口（默认1234）：启用 CORS 后，可对接网页应用或其他客户端工具。 3 启动服务点击状态选项卡：控制台会显示运行日志和访问地址：4 快速上手4.1 快速ping列出已加载并就绪的模型：curl http://127.0.0.1:1234/v1/models/这也是验证服务器是否可访问的一种有效方法 127.0.0.1:1234/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "llama-4- 对于较长的内容生成或者运行速度较慢的模型，这可能需要花费一些时间！

基于 LangServe 的 Deepseek 本地大模型服务化实践

在人工智能技术飞速发展的今天，大模型（LLM）已成为推动 AI 应用落地的核心驱动力。 本文将分享我们基于 LangServe 框架，将 DeepSeek 本地大模型 服务化的实践经验，带你一步步了解如何快速搭建、部署和管理本地大模型服务，让 AI 能力真正触手可及。 1、 认识 LangServe LangServe 是一个专为语言模型设计的服务化框架，旨在帮助开发者将大模型能力快速封装为 API 服务。 2.2 模型封装 使用 LangServe 将 DeepSeek 模型封装为 API 服务： 我们创建一个问答链，它提供简单地计算功能，按步骤组织代码 引入关联类库 from fastapi import ChatPromptTemplate.from_messages([ ('system', system_template), ('user', '{text}') ]) 创建本地大模型

真金白银抢滩“智”高点：多地大模型备案补贴实录

对于国内的大模型企业来说，拿到国家网信办的生成式人工智能服务备案（俗称“大模型备案”），早已不只是合规运营的“入场券”，更是一张能直接兑换真金白银的“支票”。 这相当于政府帮你付了一半的“电费”，让中小团队也敢跑大参数模型。此外，对于在金融、政务等关键领域落地应用的备案模型，还有额外的专项支持，单笔上限轻松突破千万。 依托“模速空间”这个大模型生态社区，上海打出了一套组合拳。 首先是直接的现金奖励：对首次通过国家大模型备案的企业，最高给予 500 万元的专项资助。 如果你的大模型备案后，月活跃用户数（MAU）达到一定量级，或者算力消耗量巨大，政府会给予动态补贴。简单说，你的模型用得越火，政府补得越多。 成都近期出台了专项政策，对通过备案的大模型企业，根据其在本地的算力调度规模进行补贴，最高可达 300 万元，并承诺优先开放本地的智慧城市场景（如交通、旅游）供备案模型试用。

玩转本地大模型：Ollama + Open WebUI简明使用指南

LLM已经从昂贵的GPU运行转变为可以在大多数消费级计算机上运行推理的应用，通称为本地大模型。 直到Ollama的出现，一个简明易用的本地大模型运行框架，为用户提供了更便捷的方式在个人电脑上运行大模型。 以 4-bit 量化为例，其将原本 FP16 精度的权重参数压缩为 4 位整数精度，使模型权重体积和推理所需显存均大幅减小，仅需 FP16 的 1/4 至 1/3，意味着约 4GB 显存即可启动 7B 所以，很长一段时间里，本地大模型和基于 llama.cpp 的应用都局限于少数极客和研究者的圈子，较高的上手门槛将许多普通人拒之门外。 直到有了 Ollama——一个简明易用的本地大模型运行框架。 但与数月前的状态相比，其带来的进步就像是从刀耕火种步入现代社会了：当时还需要真金白银堆卡、折腾配置环境才能调通，或是需要自行量化编译才能运行；如今模型发布不到一周（Phi-2 上周发布）就能丝滑地跑在笔记本上

基于Ollama+AnythingLLM轻松打造本地大模型知识库

随着人工智能技术的快速发展，大型语言模型（LLM）已成为自然语言处理领域的重要工具。然而，这些模型的运行通常需要大量的计算资源和复杂的部署流程。 为了解决这个问题，Ollama应运而生，成为了一个高效的本地大语言模型LLM运行专家。 Ollama Ollama简介 Ollama是一个开源的大型语言模型服务工具，它帮助用户快速在本地运行大模型。 可以看到诸多模型如下： 我们点击llama3，可以看到如下界面： 点击latest，可以选择模型的类型，笔记本运行建议8b，服务器可以选择70b（作者笔记本显卡为RTX4070）。 点此下载 最近 AnythingLLM推出了桌面应用，可以在自己的笔记本电脑上下载使用，目前支持的操作系统包括MacOS，Windows和Linux。 Ollama还提供丰富的模型库，如Llama 2和Llama 3，方便用户快速在本地运行大型语言模型。