- 综合排序
- 最热优先
- 最新优先
- 来自专栏leehao
采用Ollama运行本地大模型
模型的选择 在官网，点击models，按照 most popular进行排序，或者点击模型进行搜索。 国内比较好的模型，如glm4和qwen系列均可选择 注意：模型对内存和显卡有要求，根据电脑的实际配置选取模型。 在推理的时候，显存使用率较高，如果模型较大，则推理速度较慢。8G显存在运行9B模型的时候，非常丝滑，在运行14B模型的时候，类似打字机一样，比较慢。 常用命令 获取模型 ollama pull llama3 运行模型 ollama run llama3 移除模型 ollama rm llama3 多模态 What's in this image? /Users/jmorgan/Desktop/smile.png 显示模型信息 ollama show llama3 罗列已安装模型 ollama list 后端运行服务 ollama serve 下节整合
1.6K20编辑于 2025-02-11 - 来自专栏AI SPPECH
Ollama深度解析：2025年本地大语言模型运行平台的革命者
一、Ollama的概念与背景 1.1 什么是Ollama Ollama是一个开源的、轻量级的本地大语言模型运行和管理平台，它允许用户在自己的设备上轻松运行、创建和分享各种大语言模型。 模型格式转换：支持多种模型格式的转换，方便使用不同来源的模型 通过这些开发与集成功能，开发者可以轻松地将Ollama集成到自己的应用中，构建基于本地大语言模型的各种解决方案。 ollama show llama3 # 更新模型 ollama pull llama3:latest # 删除模型 ollama rm llama3:old-version 这些基本的使用教程， 让用户能够快速上手Ollama，并开始利用本地大语言模型的强大能力。 九、结论 Ollama作为一款开源、轻量级的本地大语言模型运行和管理平台，通过其出色的性能、易用性和隐私保护特性，重新定义了人们使用AI模型的方式。
3.3K10编辑于 2025-11-13 - 来自专栏学海无涯
SwiftUI-MLX本地大模型开发
MLX 中的 MLXLLM 模块提供了一种简单的方法来在本地设备（iPhone/iPad/Mac）使用预训练的大语言模型 (LLMs) 进行推理。 使用步骤 添加 MLXLLM Package。 选择某个预训练模型。 加载选择的预训练模型。 创建输入（Prompt）。 进行推理。 案例 代码。 } extension ContentView { func generate() async throws { isLoading = true // 加载模型 （第一次使用会下载） let modelConfiguration = ModelRegistry.llama3_2_1B_4bit let modelContainer
74710编辑于 2025-02-19 - 来自专栏Java Tale
搭建本地大模型之LM Studio
macOS 芯片：苹果硅（M1/M2/M3/M4）。 macOS 13.4 或更高版本是必需的。 对于 MLX 模型，需要 macOS 14.0 或更高版本。 16GB+内存推荐。 设置中文 右下角设置 设置模型目录 模型目录最好不要有中文特殊符号,最好是英文字母 下载模型 如果可以访问国外网站 镜像网站下载 https://hf-mirror.com/ 下载gguf模型放到前面设置的模型目录里面 模型挑选 模型文件大小小于自己显存大小,但接近显存大小的效果肯定越好 GGUF模型 GGUF，全称 GPT-Generated Unified Format，是一种新型的文件格式专门用于存储和交换大型机器学习模型的数据 GGUF可以有多重不同版本的量化，Q2、Q3、Q4、Q5、Q6、Q8，这些数字表示模型权重的位数，位数越高，模型的精度通常越高，但所需的存储空间和计算资源也越多。 *量化是指将模型中的高精度数字转换为低精度数字，以减少模型的存储空间和计算需求。
19.8K12编辑于 2024-12-11 《OpenClaw本地大模型部署与多模型协作指南》
前者采用分层解耦的架构，将模型接入、任务调度、工具执行与记忆存储完全分离，使得替换模型提供商变得异常简单。后者则专注于简化本地大模型的部署与管理，通过统一的接口屏蔽了不同模型之间的技术差异。 对于拥有更高端硬件的用户，二十七亿甚至七十亿参数级别的模型能够提供接近云端模型的能力。量化技术是降低本地大模型使用门槛的核心手段，它通过牺牲少量精度来大幅减少模型的内存占用。 这种量化方式将七亿参数模型的显存需求从十四GB降低到四GB左右，精度损失控制在百分之二以内，对于绝大多数应用场景来说几乎无法察觉。内存管理优化对于提升本地大模型的运行稳定性至关重要。 结合本地大模型的推理能力，这些技能能够完成各种复杂的任务，极大地扩展了系统的应用范围。多渠道交互能力使得用户可以通过多种方式与OpenClaw进行通信。 未来的发展方向是进一步提升本地大模型的能力和效率，同时简化部署和使用的难度。随着硬件技术的不断进步，越来越强大的模型将能够在消费级设备上运行。
49400编辑于 2026-05-15- 来自专栏学海无涯
SwiftUI-MLX本地大模型开发（四）
介绍 在 SwiftUI-MLX本地大模型开发、SwiftUI-MLX本地大模型开发（二）与 SwiftUI-MLX本地大模型开发（三）中，我们解决了基本使用、定制模型、使用本地模型、更改模型存储路径、 转换模型、iPad运行等问题，但使用的都是别人训练好的模型。 本文将介绍，如何基于一个通用 LLM 进行微调，使该模型成为个人的“专属”模型。 根据模型说明文件，准备数据，格式如下。本文以ticoAg/Chinese-medical-dialogue进行微调。 {"text": "你是谁?\n我是你的私人智能小助手，我叫羊羊。"} 原始模型效果.gif 微调模型效果。 微调模型.gif
46810编辑于 2025-04-21 - 来自专栏学海无涯
SwiftUI-MLX本地大模型开发（五）
因此在将 LLM 引入到项目之前，首先应该判断该模型是否符合项目的需求。如何快速测试 LLM 的效果成为了最先应该完成的工作，而 llm-tool 就是一个绝佳的测试工具。 适配本地模型：适用于运行在 Apple Silicon 上的 MLX 模型。 支持资源监控：可输出内存占用等性能指标，方便优化推理策略。 /mlx-run llm-tool eval \ --model /Users/yangfan/Documents/modelscope/Hermes-3-Llama-3.2-3B \
46810编辑于 2025-05-06 - 来自专栏学海无涯
SwiftUI-MLX本地大模型开发（二）
介绍 在 SwiftUI-MLX本地大模型开发一文中，我们已经详细讲了如何利用 MLX 进行本地大模型的开发。但是通过案例可以发现 2 个问题： MLX 内置的大模型数量有限。 每次大模型都需要从 HuggingFace 下载。 如何解决这 2 个问题，方案是：定制大模型与使用离线大模型。 定制大模型 通过扩展MLXLLM.ModelRegistry实现模型的定制。 // MARK: - 注册自定义模型，模型必须为MLX格式 extension MLXLLM.ModelRegistry { public static let llama3_2_3B_4bit = ModelConfiguration( id: "mlx-community/Llama-3.2-3B-Instruct-4bit", // Hugging Face上模型的仓库路径 // let modelConfiguration = ModelRegistry.llama3_2_3B_4bit let modelConfiguration =
43700编辑于 2025-04-14 - 来自专栏学海无涯
SwiftUI-MLX本地大模型开发（三）
介绍 在 SwiftUI-MLX本地大模型开发（二）一文中，我们解决了模型定制与使用离线大模型的问题，今天讲解以下 3 个问题： 模型存储路径。 模型转换。 iPad 运行。 # 安装mlx_lm pip install mlx mlx-lm # 下载模型到本地 modelscope download --model NousResearch/Hermes-3-Llama- 3.2-3B --local_dir /Users/yangfan/Documents/modelscope/Hermes-3-Llama-3.2-3B # 转换 # --hf-path：Hugging Face模型本地路径 mlx_lm.convert --hf-path /Users/yangfan/Documents/modelscope/Hermes-3-Llama-3.2-3B -q # - -mlx-path：转换后模型存储路径 mlx_lm.convert --hf-path /Users/yangfan/Documents/modelscope/Hermes-3-Llama-3.2-3B
75610编辑于 2025-04-14 《本地大模型+Chrome插件：离线生产力指南》
此外，还可以支持接入不同的大模型服务，让用户可以根据自己的喜好和需求选择合适的模型，提高插件的灵活性和适应性。用户行为学习与个性化适配系统，能够让插件随着使用时间的推移变得越来越智能。 本地大模型的支持是无人值守插件未来的发展方向。目前大多数无人值守插件都依赖云端的大模型服务，这不仅会产生一定的费用，而且还存在数据隐私泄露的风险。 随着本地大模型技术的不断发展，越来越多的大模型可以在普通的个人电脑上运行，而且性能也在不断提升。 未来的无人值守插件应该支持接入本地运行的大模型，所有的计算都在用户的本地设备上完成，不需要依赖云端服务器。 在没有网络连接的环境下，云端的大模型服务无法使用，传统的AI插件就会完全失效。而支持本地大模型的无人值守插件，可以在断网的情况下继续运行，利用本地的计算资源完成基础的任务。
18110编辑于 2026-06-11让本地大模型不再重复推理的缓存技巧
本地跑大模型的人都遇到过这个问题：同样的问题换个说法问，模型又要重新推理一遍。明明"怎么退款"和"如何申请退货"说的是一回事，但缓存系统不认识，每次都得等几秒钟。 这里分享一个解决本地大语言模型重复查询效率问题的工具。这个名为constraint-cache的Python库通过将语义相似的查询规范化为统一的缓存键，实现了近乎即时的重复查询响应。 3"how do I cancel" → "cancel_order" # 相同键值！ 关键是缓存的不是具体订单信息，而是通用指令。
11410编辑于 2026-06-23- 来自专栏Zabbix中国官方
Hermes agent+本地大模型，让Zabbix听懂人话
格式的 API 端点，记录该链接，后续用于 Hermes agent 配置，如下图： 后台操作系统请求LM Studio中提供的本地模型接口，获取支持的大模型信息，如下图： 三、Hermes agent ，如下图： 配置对接LM Studio中提供的本地大模型，如下图： 执行Hermes agent配置查看命令： hermes config Hermes agent配置信息如下图： 4.2 测试连接 运行以下命令测试与本地大模型的通信是否正常，若返回大模型的响应，则配置成功。 更换其他大模型：Hermes agent支持 OpenAI API 格式的任何模型（包括 GPT-4、Claude、本地 Ollama 等）。 付费模型优势：使用各种商用模型可获得更强的推理能力和更丰富的运维知识库，适合复杂故障诊断和自动修复场景。 3.
99710编辑于 2026-05-13 - 来自专栏AIGC大模型应用
LM Studio本地大模型调用实战
1 选择模型在 LM Studio 的 “开发者” 选项卡中选择模型：2 端口暴露设置暴露的端口（默认1234）：启用 CORS 后，可对接网页应用或其他客户端工具。 3 启动服务点击状态选项卡：控制台会显示运行日志和访问地址：4 快速上手4.1 快速ping列出已加载并就绪的模型：curl http://127.0.0.1:1234/v1/models/这也是验证服务器是否可访问的一种有效方法 对于较长的内容生成或者运行速度较慢的模型，这可能需要花费一些时间！
3.8K00编辑于 2025-04-26 - 来自专栏架构精进之路
基于 LangServe 的 Deepseek 本地大模型服务化实践
在人工智能技术飞速发展的今天，大模型（LLM）已成为推动 AI 应用落地的核心驱动力。 本文将分享我们基于 LangServe 框架，将 DeepSeek 本地大模型 服务化的实践经验，带你一步步了解如何快速搭建、部署和管理本地大模型服务，让 AI 能力真正触手可及。 1、 认识 LangServe LangServe 是一个专为语言模型设计的服务化框架，旨在帮助开发者将大模型能力快速封装为 API 服务。 2.2 模型封装 使用 LangServe 将 DeepSeek 模型封装为 API 服务： 我们创建一个问答链，它提供简单地计算功能，按步骤组织代码 引入关联类库 from fastapi import ChatPromptTemplate.from_messages([ ('system', system_template), ('user', '{text}') ]) 创建本地大模型
54220编辑于 2025-02-18 - 来自专栏全国大模型备案
真金白银抢滩“智”高点：多地大模型备案补贴实录
对于国内的大模型企业来说，拿到国家网信办的生成式人工智能服务备案（俗称“大模型备案”），早已不只是合规运营的“入场券”，更是一张能直接兑换真金白银的“支票”。 这相当于政府帮你付了一半的“电费”，让中小团队也敢跑大参数模型。此外，对于在金融、政务等关键领域落地应用的备案模型，还有额外的专项支持，单笔上限轻松突破千万。 依托“模速空间”这个大模型生态社区，上海打出了一套组合拳。 首先是直接的现金奖励：对首次通过国家大模型备案的企业，最高给予 500 万元的专项资助。 如果你的大模型备案后，月活跃用户数（MAU）达到一定量级，或者算力消耗量巨大，政府会给予动态补贴。简单说，你的模型用得越火，政府补得越多。 成都近期出台了专项政策，对通过备案的大模型企业，根据其在本地的算力调度规模进行补贴，最高可达 300 万元，并承诺优先开放本地的智慧城市场景（如交通、旅游）供备案模型试用。
51410编辑于 2026-03-10 - 来自专栏轩辕镜像
玩转本地大模型：Ollama + Open WebUI简明使用指南
LLM已经从昂贵的GPU运行转变为可以在大多数消费级计算机上运行推理的应用，通称为本地大模型。 直到Ollama的出现，一个简明易用的本地大模型运行框架，为用户提供了更便捷的方式在个人电脑上运行大模型。 以 4-bit 量化为例，其将原本 FP16 精度的权重参数压缩为 4 位整数精度，使模型权重体积和推理所需显存均大幅减小，仅需 FP16 的 1/4 至 1/3，意味着约 4GB 显存即可启动 7B 所以，很长一段时间里，本地大模型和基于 llama.cpp 的应用都局限于少数极客和研究者的圈子，较高的上手门槛将许多普通人拒之门外。 直到有了 Ollama——一个简明易用的本地大模型运行框架。 但与数月前的状态相比，其带来的进步就像是从刀耕火种步入现代社会了：当时还需要真金白银堆卡、折腾配置环境才能调通，或是需要自行量化编译才能运行；如今模型发布不到一周（Phi-2 上周发布）就能丝滑地跑在笔记本上
17.3K12编辑于 2024-09-29 - 来自专栏运维有术
玩转 AIGC：打造本地大模型地基，PVE 配置显卡直通
玩转 AIGC：打造本地大模型地基，PVE 配置显卡直通2024 年云原生运维实战文档 99 篇原创计划 第 012 篇 ｜玩转 AIGC「2024」系列 第 002 篇你好，欢迎来到运维有术。 今天分享的内容是 玩转 AIGC「2024」 系列文档中的 打造本地大模型地基，PVE 配置显卡直通。 1.2 软件环境虚拟化平台：Proxmox Virtual Environment 8.0.4AI 虚拟机： ubuntu 22.04本文选择 ubuntu 22.04 作为演示，配置方法同样适用于其他操作系统 6.2.16-8-pveFound initrd image: /boot/initrd.img-6.2.16-8-pveFound linux image: /boot/vmlinuz-6.2.16-3- 欢迎加入 「知识星球｜运维有术」 ，获取更多的 KubeSphere、Kubernetes、云原生运维、自动化运维、AI 大模型等实战技能。未来运维生涯始终有我坐在你的副驾。
2.7K00编辑于 2024-05-04 - 来自专栏河湾欢儿的专栏
css3文本、盒模型阴影、倒影、自由缩放
css3新增盒模型阴影 box-shadow:[inset] x y blur [spread] color 参数 inset：投影方式 inset：内投影 不给：外投影 x、y：阴影偏移 { color: #fff; text-shadow: -1px -1px rgba(197, 223, 248,0.8),-2px -2px rgba(197, 223, 248,0.8),-3px -3px rgba(197, 223, 248,0.8),-4px -4px rgba(197, 223, 248,0.8),-5px -5px rgba(197, 223, 248,0.8),-6px -6px rgba(197, 223, 248,0.8); } div { color: rgba(255, 179, 140,0.5); text-shadow: 3px 3px 0 rgba
85310发布于 2018-09-06 基于Ollama+AnythingLLM轻松打造本地大模型知识库
为了解决这个问题，Ollama应运而生，成为了一个高效的本地大语言模型LLM运行专家。 Ollama Ollama简介 Ollama是一个开源的大型语言模型服务工具，它帮助用户快速在本地运行大模型。 通过简单的安装指令，用户可以执行一条命令就在本地运行开源大型语言模型，如Llama 2和最新开源的Llama 3。 可以看到诸多模型如下： 我们点击llama3，可以看到如下界面： 点击latest，可以选择模型的类型，笔记本运行建议8b，服务器可以选择70b（作者笔记本显卡为RTX4070）。 点此下载 最近 AnythingLLM推出了桌面应用，可以在自己的笔记本电脑上下载使用，目前支持的操作系统包括MacOS，Windows和Linux。 Ollama还提供丰富的模型库，如Llama 2和Llama 3，方便用户快速在本地运行大型语言模型。
18.8K56编辑于 2024-05-03全网疯传的OpenClaw，总监用本地大模型跑通了！
数据库管理-第410期 全网疯传的OpenClaw，总监用本地大模型跑通了！ 1.4 部署要求 部署流程简单高效，仅需满足以下条件，5分钟即可完成部署： 运行环境：推荐Node 24版本，或兼容的Node 22 LTS（22.16 及以上版本）； 必备资源：所选AI服务提供商的API 为了避免前面说到的一些问题，尽可能免费使用OpenClaw，因此我决定使用Ollama运行本地大模型，并在虚拟机运行OpenClaw调用大模型。 3 环境架构 本次部署还是在我的幻X 2025（128GB）分别使用了Ollama运行LLM，OpenClaw在VMware WorkstationPro运行的虚拟机上进行部署，为了直观的展示部署架构， 3. 模型/授权提供商 选择Ollama。回车进入下一步。 4.
20210编辑于 2026-07-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号