- 综合排序
- 最热优先
- 最新优先
- 来自专栏leehao
采用Ollama运行本地大模型
模型的选择 在官网，点击models，按照 most popular进行排序，或者点击模型进行搜索。 国内比较好的模型，如glm4和qwen系列均可选择 注意：模型对内存和显卡有要求，根据电脑的实际配置选取模型。 比如，8G显存32G内存的配置，可以流程运行9B左右的模型，但运行大于32B以上的模型就比较吃力，推理速度很慢。 在推理的时候，显存使用率较高，如果模型较大，则推理速度较慢。8G显存在运行9B模型的时候，非常丝滑，在运行14B模型的时候，类似打字机一样，比较慢。 常用命令 获取模型 ollama pull llama3 运行模型 ollama run llama3 移除模型 ollama rm llama3 多模态 What's in this image?
1.5K20编辑于 2025-02-11 - 来自专栏AI SPPECH
Ollama深度解析：2025年本地大语言模型运行平台的革命者
一、Ollama的概念与背景 1.1 什么是Ollama Ollama是一个开源的、轻量级的本地大语言模型运行和管理平台，它允许用户在自己的设备上轻松运行、创建和分享各种大语言模型。 模型格式转换：支持多种模型格式的转换，方便使用不同来源的模型 通过这些开发与集成功能，开发者可以轻松地将Ollama集成到自己的应用中，构建基于本地大语言模型的各种解决方案。 rm llama3:old-version 这些基本的使用教程，让用户能够快速上手Ollama，并开始利用本地大语言模型的强大能力。 九、结论 Ollama作为一款开源、轻量级的本地大语言模型运行和管理平台，通过其出色的性能、易用性和隐私保护特性，重新定义了人们使用AI模型的方式。 参考文献 Ollama官方文档: https://ollama.com/docs Ollama GitHub仓库: https://github.com/ollama/ollama 本地大语言模型运行技术白皮书
3K10编辑于 2025-11-13 - 来自专栏学海无涯
SwiftUI-MLX本地大模型开发
MLX 中的 MLXLLM 模块提供了一种简单的方法来在本地设备（iPhone/iPad/Mac）使用预训练的大语言模型 (LLMs) 进行推理。 使用步骤 添加 MLXLLM Package。 选择某个预训练模型。 加载选择的预训练模型。 创建输入（Prompt）。 进行推理。 案例 代码。 } extension ContentView { func generate() async throws { isLoading = true // 加载模型
71010编辑于 2025-02-19 - 来自专栏Java Tale
搭建本地大模型之LM Studio
设置中文 右下角设置 设置模型目录 模型目录最好不要有中文特殊符号,最好是英文字母 下载模型 如果可以访问国外网站 镜像网站下载 https://hf-mirror.com/ 下载gguf模型放到前面设置的模型目录里面 模型挑选 模型文件大小小于自己显存大小,但接近显存大小的效果肯定越好 GGUF模型 GGUF，全称 GPT-Generated Unified Format，是一种新型的文件格式专门用于存储和交换大型机器学习模型的数据 这种格式针对模型的快速加载和保存进行了优化，使其在推理方面更加高效。 GGUF可以有多重不同版本的量化，Q2、Q3、Q4、Q5、Q6、Q8，这些数字表示模型权重的位数，位数越高，模型的精度通常越高，但所需的存储空间和计算资源也越多。 *量化是指将模型中的高精度数字转换为低精度数字，以减少模型的存储空间和计算需求。
19.3K12编辑于 2024-12-11 - 来自专栏学海无涯
SwiftUI-MLX本地大模型开发（四）
介绍 在 SwiftUI-MLX本地大模型开发、SwiftUI-MLX本地大模型开发（二）与 SwiftUI-MLX本地大模型开发（三）中，我们解决了基本使用、定制模型、使用本地模型、更改模型存储路径、 转换模型、iPad运行等问题，但使用的都是别人训练好的模型。 本文将介绍，如何基于一个通用 LLM 进行微调，使该模型成为个人的“专属”模型。 根据模型说明文件，准备数据，格式如下。本文以ticoAg/Chinese-medical-dialogue进行微调。 {"text": "你是谁?\n我是你的私人智能小助手，我叫羊羊。"} 原始模型效果.gif 微调模型效果。 微调模型.gif
44710编辑于 2025-04-21 - 来自专栏学海无涯
SwiftUI-MLX本地大模型开发（五）
因此在将 LLM 引入到项目之前，首先应该判断该模型是否符合项目的需求。如何快速测试 LLM 的效果成为了最先应该完成的工作，而 llm-tool 就是一个绝佳的测试工具。 适配本地模型：适用于运行在 Apple Silicon 上的 MLX 模型。 支持资源监控：可输出内存占用等性能指标，方便优化推理策略。
43510编辑于 2025-05-06 《OpenClaw本地大模型部署与多模型协作指南》
前者采用分层解耦的架构，将模型接入、任务调度、工具执行与记忆存储完全分离，使得替换模型提供商变得异常简单。后者则专注于简化本地大模型的部署与管理，通过统一的接口屏蔽了不同模型之间的技术差异。 对于拥有更高端硬件的用户，二十七亿甚至七十亿参数级别的模型能够提供接近云端模型的能力。量化技术是降低本地大模型使用门槛的核心手段，它通过牺牲少量精度来大幅减少模型的内存占用。 这种量化方式将七亿参数模型的显存需求从十四GB降低到四GB左右，精度损失控制在百分之二以内，对于绝大多数应用场景来说几乎无法察觉。内存管理优化对于提升本地大模型的运行稳定性至关重要。 结合本地大模型的推理能力，这些技能能够完成各种复杂的任务，极大地扩展了系统的应用范围。多渠道交互能力使得用户可以通过多种方式与OpenClaw进行通信。 未来的发展方向是进一步提升本地大模型的能力和效率，同时简化部署和使用的难度。随着硬件技术的不断进步，越来越强大的模型将能够在消费级设备上运行。
34000编辑于 2026-05-15- 来自专栏学海无涯
SwiftUI-MLX本地大模型开发（二）
介绍 在 SwiftUI-MLX本地大模型开发一文中，我们已经详细讲了如何利用 MLX 进行本地大模型的开发。但是通过案例可以发现 2 个问题： MLX 内置的大模型数量有限。 每次大模型都需要从 HuggingFace 下载。 如何解决这 2 个问题，方案是：定制大模型与使用离线大模型。 定制大模型 通过扩展MLXLLM.ModelRegistry实现模型的定制。 可以在 Hugging Face 模型搜索地址 中搜索需要的 MLX 大模型。 如果已经离线下载了模型到本地，可以通过指定路径的方式加载模型。 定制大模型.gif 使用离线大模型。 使用离线大模型.gif
40800编辑于 2025-04-14 - 来自专栏学海无涯
SwiftUI-MLX本地大模型开发（三）
介绍 在 SwiftUI-MLX本地大模型开发（二）一文中，我们解决了模型定制与使用离线大模型的问题，今天讲解以下 3 个问题： 模型存储路径。 模型转换。 iPad 运行。 模型存储路径 模型下载的默认位置为：/Users/yangfan/Documents/huggingface/models/mlx-community（macOS）或者 sandbox 下的Documents 通过HubApi可以更改模型在本地的存储路径。 # 安装mlx_lm pip install mlx mlx-lm # 下载模型到本地 modelscope download --model NousResearch/Hermes-3-Llama- 由于 SwiftUI 具有跨平台特性，因此 UI 代码不需要修改，我们需要修改的是模型的本地存储路径。
72010编辑于 2025-04-14 《本地大模型+Chrome插件：离线生产力指南》
此外，还可以支持接入不同的大模型服务，让用户可以根据自己的喜好和需求选择合适的模型，提高插件的灵活性和适应性。用户行为学习与个性化适配系统，能够让插件随着使用时间的推移变得越来越智能。 本地大模型的支持是无人值守插件未来的发展方向。目前大多数无人值守插件都依赖云端的大模型服务，这不仅会产生一定的费用，而且还存在数据隐私泄露的风险。 随着本地大模型技术的不断发展，越来越多的大模型可以在普通的个人电脑上运行，而且性能也在不断提升。 未来的无人值守插件应该支持接入本地运行的大模型，所有的计算都在用户的本地设备上完成，不需要依赖云端服务器。 在没有网络连接的环境下，云端的大模型服务无法使用，传统的AI插件就会完全失效。而支持本地大模型的无人值守插件，可以在断网的情况下继续运行，利用本地的计算资源完成基础的任务。
12110编辑于 2026-06-11- 来自专栏Zabbix中国官方
Hermes agent+本地大模型，让Zabbix听懂人话
格式的 API 端点，记录该链接，后续用于 Hermes agent 配置，如下图： 后台操作系统请求LM Studio中提供的本地模型接口，获取支持的大模型信息，如下图： 三、Hermes agent ，如下图： 配置对接LM Studio中提供的本地大模型，如下图： 执行Hermes agent配置查看命令： hermes config Hermes agent配置信息如下图： 4.2 测试连接 运行以下命令测试与本地大模型的通信是否正常，若返回大模型的响应，则配置成功。 更换其他大模型：Hermes agent支持 OpenAI API 格式的任何模型（包括 GPT-4、Claude、本地 Ollama 等）。 付费模型优势：使用各种商用模型可获得更强的推理能力和更丰富的运维知识库，适合复杂故障诊断和自动修复场景。 3.
68710编辑于 2026-05-13 - 来自专栏架构精进之路
基于 LangServe 的 Deepseek 本地大模型服务化实践
在人工智能技术飞速发展的今天，大模型（LLM）已成为推动 AI 应用落地的核心驱动力。 本文将分享我们基于 LangServe 框架，将 DeepSeek 本地大模型 服务化的实践经验，带你一步步了解如何快速搭建、部署和管理本地大模型服务，让 AI 能力真正触手可及。 1、 认识 LangServe LangServe 是一个专为语言模型设计的服务化框架，旨在帮助开发者将大模型能力快速封装为 API 服务。 2.2 模型封装 使用 LangServe 将 DeepSeek 模型封装为 API 服务： 我们创建一个问答链，它提供简单地计算功能，按步骤组织代码 引入关联类库 from fastapi import ChatPromptTemplate.from_messages([ ('system', system_template), ('user', '{text}') ]) 创建本地大模型
50720编辑于 2025-02-18 - 来自专栏AIGC大模型应用
LM Studio本地大模型调用实战
1 选择模型在 LM Studio 的 “开发者” 选项卡中选择模型：2 端口暴露设置暴露的端口（默认1234）：启用 CORS 后，可对接网页应用或其他客户端工具。 3 启动服务点击状态选项卡：控制台会显示运行日志和访问地址：4 快速上手4.1 快速ping列出已加载并就绪的模型：curl http://127.0.0.1:1234/v1/models/这也是验证服务器是否可访问的一种有效方法 对于较长的内容生成或者运行速度较慢的模型，这可能需要花费一些时间！
3.6K00编辑于 2025-04-26 - 来自专栏轩辕镜像
玩转本地大模型：Ollama + Open WebUI简明使用指南
LLM已经从昂贵的GPU运行转变为可以在大多数消费级计算机上运行推理的应用，通称为本地大模型。 然而，本地大模型的推理需要相当大的显存，对于16位浮点精度（FP16）的模型，显存需求约为模型参数量的两倍。这使得运行大模型成为对普通家用计算机硬件规格的挑战。 直到Ollama的出现，一个简明易用的本地大模型运行框架，为用户提供了更便捷的方式在个人电脑上运行大模型。 所以，很长一段时间里，本地大模型和基于 llama.cpp 的应用都局限于少数极客和研究者的圈子，较高的上手门槛将许多普通人拒之门外。 直到有了 Ollama——一个简明易用的本地大模型运行框架。 但与数月前的状态相比，其带来的进步就像是从刀耕火种步入现代社会了：当时还需要真金白银堆卡、折腾配置环境才能调通，或是需要自行量化编译才能运行；如今模型发布不到一周（Phi-2 上周发布）就能丝滑地跑在笔记本上
17.1K12编辑于 2024-09-29 - 来自专栏全国大模型备案
真金白银抢滩“智”高点：多地大模型备案补贴实录
对于国内的大模型企业来说，拿到国家网信办的生成式人工智能服务备案（俗称“大模型备案”），早已不只是合规运营的“入场券”，更是一张能直接兑换真金白银的“支票”。 这相当于政府帮你付了一半的“电费”，让中小团队也敢跑大参数模型。此外，对于在金融、政务等关键领域落地应用的备案模型，还有额外的专项支持，单笔上限轻松突破千万。 依托“模速空间”这个大模型生态社区，上海打出了一套组合拳。 首先是直接的现金奖励：对首次通过国家大模型备案的企业，最高给予 500 万元的专项资助。 如果你的大模型备案后，月活跃用户数（MAU）达到一定量级，或者算力消耗量巨大，政府会给予动态补贴。简单说，你的模型用得越火，政府补得越多。 成都近期出台了专项政策，对通过备案的大模型企业，根据其在本地的算力调度规模进行补贴，最高可达 300 万元，并承诺优先开放本地的智慧城市场景（如交通、旅游）供备案模型试用。
45510编辑于 2026-03-10 基于Ollama+AnythingLLM轻松打造本地大模型知识库
随着人工智能技术的快速发展，大型语言模型（LLM）已成为自然语言处理领域的重要工具。然而，这些模型的运行通常需要大量的计算资源和复杂的部署流程。 为了解决这个问题，Ollama应运而生，成为了一个高效的本地大语言模型LLM运行专家。 Ollama Ollama简介 Ollama是一个开源的大型语言模型服务工具，它帮助用户快速在本地运行大模型。 可以看到诸多模型如下： 我们点击llama3，可以看到如下界面： 点击latest，可以选择模型的类型，笔记本运行建议8b，服务器可以选择70b（作者笔记本显卡为RTX4070）。 点此下载 最近 AnythingLLM推出了桌面应用，可以在自己的笔记本电脑上下载使用，目前支持的操作系统包括MacOS，Windows和Linux。 Ollama还提供丰富的模型库，如Llama 2和Llama 3，方便用户快速在本地运行大型语言模型。
18.7K56编辑于 2024-05-03- 来自专栏运维有术
玩转 AIGC：打造本地大模型地基，PVE 配置显卡直通
玩转 AIGC：打造本地大模型地基，PVE 配置显卡直通2024 年云原生运维实战文档 99 篇原创计划 第 012 篇 ｜玩转 AIGC「2024」系列 第 002 篇你好，欢迎来到运维有术。 今天分享的内容是 玩转 AIGC「2024」 系列文档中的 打造本地大模型地基，PVE 配置显卡直通。 1.2 软件环境虚拟化平台：Proxmox Virtual Environment 8.0.4AI 虚拟机： ubuntu 22.04本文选择 ubuntu 22.04 作为演示，配置方法同样适用于其他操作系统 ---------------------------------------------------------------------------+以上，就是今天分享的内容，后续我会分享更多关于大模型 欢迎加入 「知识星球｜运维有术」 ，获取更多的 KubeSphere、Kubernetes、云原生运维、自动化运维、AI 大模型等实战技能。未来运维生涯始终有我坐在你的副驾。
2.7K00编辑于 2024-05-04 - 来自专栏大模型应用
大模型应用：本地大模型部署中的Token效率优化与性能分析.9
引言 在大模型应用日益普及的今天，对模型交互过程中Token消耗的深入理解和有效管理变得至关重要。 Token作为大模型处理文本的基本单位，不仅直接关系到模型的响应速度和质量，更影响着计算资源的消耗和使用成本。 随着模型规模的不断扩大和应用场景的多样化，如何在不牺牲对话质量的前提下优化Token使用效率，已成为提升大模型应用经济性和实用性的关键问题。 <|im_end|><|im_end|><|im_start|>assistant我们将这个序列输入模型，模型会生成助理的回复。 初始化阶段模型加载与初始化：从ModelScope下载模型，加载分词器和模型权重设置设备环境（CPU/GPU），配置生成参数2.
76943编辑于 2026-02-06 Infortress远程访问本地大模型和知识库之深度体验
Infortress本地部署大模型和知识库非常简单，打开Infortress电脑服务端，在左侧的菜单中找到【设置】，之后找到【本地大模型】， 在本地大模型页面，根据自己的需求，任意选择deepseek的版本 等待程序安装部署完成后，点击【对话】按钮，即可使用本地大模型。 点击进去，即可与本地大模型或者知识库进行对话了！ 点击进入即可使用本地大模型和知识库了！ 顶部也可以进行大模型和知识库的切换！ Infortress不仅能够轻松搭建本地大模型和知识库，更是一款专业的NAS软件，可以轻松搭建家庭数据中心。
82210编辑于 2025-05-06- 来自专栏大模型应用
大模型应用：基于本地大模型的中文命名实体识别技术实践与应用
随着大模型技术的快速发展，基于本地部署的大模型在NER任务中展现出显著优势。 本文通过两个典型示例——通用领域中文NER和医疗领域专用NER，深入探讨本地大模型在实际应用中的技术实现和性能表现。 本地大模型相比云端API具有数据安全、响应速度快、可定制性强等优势。 模型基本信息模型名称：uer/roberta-base-finetuned-cluener2020-chinese模型类型：基于RoBERTa的中文命名实体识别模型训练数据：CLUENER2020 细粒度中文 按类型分组 └── 统计分析 ↓ 临床信息评估 ├── 疾病识别 ├── 症状识别 ├── 药物识别 └── 检查识别 四、总结 基于本地大模型的命名实体识别技术在实际应用中展现出显著优势 随着模型优化技术的不断进步和硬件成本的持续下降，本地大模型必将在更多场景中发挥重要作用，为企业智能化转型提供坚实的技术基础。
58332编辑于 2026-01-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号