- 综合排序
- 最热优先
- 最新优先
- 来自专栏小新笔记坊
CentOS本地部署语言模型
部署环境 操作系统：CentOS Linux release 8.2.2004 显卡：GTX1060 内存：16GB 操作步骤 安装英伟达显卡驱动 1.下载英伟达显卡驱动包，并上传服务器。 2.在docker容器参数中编辑参数，映射容器内某目录（例如/home）至本地一个目录文件夹用于导入本地模型。 例如： /home/models /home/models /home/ollama /root/.ollama 3.进入docker容器内部导入模型即可。 安装OpenWebUi 1.拉取docker镜像后，导入本地镜像并运行容器。
62100编辑于 2025-02-13 - 来自专栏AllTests软件测试
本地部署AI大模型DeepSeek
官方网址： https://www.deepseek.com/ 本篇讲解如何快速的在本地部署AI大模型DeepSeek。 2、本地部署DeepSeek 1、首先要下载安装Ollama。 Ollama是一个开源的大型语言模型本地部署框架。 特点： 多平台支持，如Windows、macOS、Linux，还支持Docker，方便跨平台部署。 本地运行，让用户可在本地设备上运行大型语言模型，无需网络连接也能使用部分功能。 官方网址： https://ollama.com/ 快速上手使用大语言模型。 在本地运行Llama 3.3、DeepSeek-R1、Phi-4、Mistral、Gemma 2等模型。 根据所属平台，下载指定的Ollama。 它支持多种大语言模型运行程序，如Ollama和兼容OpenAI的应用程序编程接口（API），还内置了用于检索增强生成（RAG）的推理引擎，使其成为一个强大的人工智能部署解决方案。
76610编辑于 2025-02-10 - 来自专栏.Net Core技术分享
Ollama本地部署大模型总结
今天计划对之前ollama系列做个回顾，从如何部署到API使用，整理到一篇内容中，提供给大家参考。 ollama run deepseek-r1:1.5b 下载完成后，ollama会为我们运行刚下载的大模型。下面是我运行成功的截图： 第三步：使用大模型 恭喜你已经在本地成功安装了第一个私有大模型。 和本地大模型对话 点击左侧新对话，开启新的对话。 向大模型提问试试吧 创建智能体 恭喜你已经完成了ollama和chatbox的集成，现在你的对话数据都保留在本地，绝对的安全和隐私。 运行起来后界面如下： 集成ollama中的本地模型 将cherryStudio运行起来后，点击界面左下角的小齿轮进行设置。 这些API的列表如下： 模型创建（/api/create） 列出本地模型（/api/tags） 查看模型信息（/api/show） 复制模型（/api/copy） 删除模型（/api/delete） 拉取模型
4.7K11编辑于 2025-03-30 - 来自专栏微言码道
本地部署大模型的几种方式
相较于其它一些方式, 有一定的编程或技术上的门槛, Ollama可以说是把本地部署大模型这个以前有点技术含量或难度的事情完全傻瓜化了. 就算你是一个编程的门外汉, 都可以轻松的使用Ollama来部署一个本地大模型. 我在这里以最新的Llama 3来举例说明如何运行一个本地大模型. 如果仅仅是要部署一个本地大模型, 没有比Ollama更简单方便的方式了. VLLM Vllm是一个python类库, 在知道与了解Ollama之前, 最开始我都是基于VLLM来部署类似的开源大模型. 总结 开源大模型, 或者说本地化运行一个开源大模型, 现在已经越发的简单与低门槛了. 只要有足够的GPU硬件, 本地化部署与运行开源大模型非常简单及易于实现. 想部署一个本地大模型玩玩? 今天, 私有化本地部署一个大模型早已不是什么有门槛或技术含量的工作了, 对于那些追赶AI热潮的人来说, 找到AI对你业务实现的价值可能才是更具挑战的事情.
8.5K10编辑于 2024-04-23 - 来自专栏陈冠男的游戏人生
使用ollama本地部署开源大模型
chatGPT 刚出来没多久的时候，openai 时不时的限制使用频率，当时我想要是能本地部署一个大模型，无限制的使用该多好哇。 后来有很多团队/公司陆陆续续在 github 开源了他们自己训练的大模型，但是部署使用的操作门槛比较高，曾经试图部署过一个，报了几个错也没时间折腾就放弃了 前几天我发现了一个叫 ollama 的项目，根据介绍 ，此时就已经部署结束了 可以在：https://ollama.com/library 找到更多的模型 但是在命令行中直接交互里很多格式解析不出来，看起来怪怪的，可以使用 chatbot-ollama 这个项目部署一个 此外，你还可以配合翻译插件进行本地AI翻译，openai-translator 这个项目原本是使用在线模型的 API 进行翻译的，但目前也支持了 ollama，项目地址： https://github.com /openai-translator/openai-translator 直接去 release 下载安装包后运行，在设置中选择本地大模型，并选择 API 模型为你已经下载好的本地模型保存即可 使用效果
3K20编辑于 2024-03-05 - 来自专栏Python与算法之美
Ollama 本地CPU部署开源大模型
Ollama可以在本地CPU非常方便地部署许多开源的大模型。 如 Facebook的llama3, 谷歌的gemma, 微软的phi3，阿里的qwen2 等模型。 完整支持的模型列表可以参考：https://ollama.com/library 它基于llama.cpp实现，本地CPU推理效率非常高（当然如果有GPU的话，推理效率会更高）, 还可以兼容 openai ollama run qwen2 #跑qwen2模型，如果本地没有，会先下载 ollama pull llama3 #下载llama3模型到本地 ollama list #查看本地有哪些模型可用 ollama rm #删除本地的某个模型 ollama help #获取帮助 ! import OpenAI client = OpenAI( base_url='http://localhost:11434/v1/', api_key='ollama', #实际上本地模型不需要
3.7K11编辑于 2024-06-26 - 来自专栏AI技术应用
AI大模型本地化部署
AI大模型本地化部署是将大规模人工智能模型（如GPT、LLaMA、DeepSeek等）部署到本地服务器或设备上，以满足数据隐私、安全性和性能需求的过程。 以下是AI大模型本地化部署的关键步骤、技术难点及解决方案。一、本地化部署的关键步骤1.需求分析与规划 明确应用场景（如智能客服、文本生成、图像识别等）。评估本地硬件资源（GPU、内存、存储）和预算。 5.模型部署使用推理框架（如ONNX、TensorRT）优化模型推理性能。部署模型到本地服务器或边缘设备，提供API接口供调用。6.监控与维护持续监控模型性能和硬件状态。定期更新模型以保持最佳性能。 3.数据隐私与安全难点：本地化部署需确保数据隐私和合规性。解决方案：采用私有化部署方案，避免数据外传。4.部署复杂性难点：从硬件调试到模型优化，流程复杂。 通过以上步骤和解决方案，AI大模型本地化部署可以更好地满足行业需求，推动AI技术的广泛应用。
4K10编辑于 2025-03-08 - 来自专栏LinkinStar's Blog
尝试 Google Gemma 模型 MacOS 本地部署
所以我本地部署了一个 7b 的版本来尝试使用一下看看效果。同时也来说明一些有关大模型本地部署使用的一些个人体会，比如，你可能会有以下问题： 怎么本地部署使用？ 我本地的电脑能不能跑？ 本地跑的效果到底怎么样？ 首先，我想敲醒你沉睡的脑子。对于本地部署模型，你先要问清楚自己想要的是什么？也就是为什么需要本地部署，如果仅仅是想跑着玩，那没问题。 16G 的，7b 够用，其他模型的 13b 也能跑但显然会慢一些，具体就看你 CPU 的能力了。 总结 对于本地部署，我想你肯定是有这几方面的考虑： 白嫖：不想花钱买 token，可以，一直白嫖一直爽 隐私：对于被推测的数据不能公开，这一点确实很重要，本地部署直接解决了很多内部数据使用的问题 服务： 那么，我想告诉你的是，对于现阶段而言，基于我本地部署使用了一段时间之后，我会推荐给想要做本地总结和翻译的用户，这二者的使用上其实是让我满意的，也能达到我的基本需求。
1.3K10编辑于 2024-03-14 - 来自专栏机器学习与统计学
大模型本地部署，vLLM 睡眠模式来了
睡眠模式L1与无睡眠模式的性能对比 下方的交互式图表显示了执行5次模型切换的总时间：在模型A上运行推理，切换到模型B，在模型B上运行推理，然后重复这个模式（A→B→A→B→A→B）。 模型切换性能 睡眠模式最显著的优势体现在模型切换时间上。唤醒休眠模型比加载全新的vLLM实例快18-20倍。 模型切换时间：从睡眠唤醒 vs 冷启动（全新加载）。误差线显示多次运行的最小/最大变化。 （小模型约0.1-0.8秒，大模型约3-6秒） • 需要充足的CPU内存来存储模型权重 • 最适合： 具有足够CPU内存的系统，频繁的模型切换 级别2： 丢弃模型权重和KV缓存，仅在CPU中保留缓冲区（ ，离线部署，支持vLLM、SGLang、llama.cpp等引擎 快手编程大模型真实水平，本地部署，实测 智谱GLM-4.5-Air量化大模型，本地部署，实测 字节跳动开源大模型Seed-OSS-36B ，本地部署，性能实测
85410编辑于 2025-11-20 - 来自专栏Linux运维技术之路
Deepseek大模型本地化安装部署
本地部署基于 Ollama 的 DeepSeek 模型，可以按照以下步骤操作。Ollama 是一个用于本地运行大型语言模型（LLM）的工具，支持多种模型，包括 DeepSeek。 一. 运行以下命令安装 Ollama： brew install ollama 或者这下载文件（https://ollama.com/download/Ollama-darwin.zip），本地安装 Linux 下载 DeepSeek 模型 Ollama 支持从 Hugging Face 或其他来源加载模型。以下是下载和加载 DeepSeek 模型的步骤： 1. 确保 Ollama 已安装并运行。 2. 使用以下命令下载 DeepSeek 模型： ollama pull deepseek-r1:1.5b 如果 DeepSeek 不在默认模型列表中，可以手动指定模型文件的路径或 URL。 3. 通过 API 调用 DeepSeek 模型 Ollama 提供了一个本地 API，可以通过 HTTP 请求与模型交互。 启动 API 服务 1.
1.1K10编辑于 2025-02-06 - 来自专栏清羽飞扬
windows本地部署DeepSeek-R1模型
这一系列事件让我对deepseek产生了浓厚的兴趣，决定亲自尝试将其部署到本地，体验一下这个强大的AI模型。 出乎意料的是，部署过程异常简单。 下面，我将与大家分享在Windows系统上部署deepseek的全过程。为了让大家能够更方便地使用这个模型，我还在网上搜寻并筛选出来了四五款本地使用的ollama可视化工具，一并分享给大家。 部署教程 安装Ollama 首先我们需要安装Ollama，Ollama是一个简便的本地机器学习模型部署工具，专为简化大规模模型的运行而设计。 它支持在Windows和Linux等操作系统上部署深度学习模型，并且不依赖Python或其他复杂的框架，能够快速在本地环境中进行推理，使得模型能够高效利用本地硬件资源，适合需要快速部署和低配置环境的用户 这里我们只挑几个最为常见的命令进行展示，如下图所示： 学会了基本用法，下面我们就来本地部署模型吧！
1.6K10编辑于 2025-02-09 - 来自专栏AI技术应用
AI大模型的本地化部署
AI大模型的本地化部署，是将原本在云端运行的大型人工智能模型，转移到本地的硬件设备上运行。这种部署方式，在数据隐私、网络延迟、成本控制等方面，都有着重要的意义。 以下是关于AI大模型本地化部署的一些关键方面。1. 本地化部署的优势：数据隐私： 本地部署可以最大限度地保护敏感数据，避免数据在传输和存储过程中泄露的风险。 离线运行： 本地部署使得应用可以在没有网络连接的情况下运行，提高了应用的可用性。2. 本地化部署的技术难点：硬件资源限制： 大模型通常需要大量的计算资源和内存，如何在有限的硬件资源上运行，是一个挑战。 安全问题： 本地化部署需要注意本地设备的安全，防止模型被恶意使用。3. 本地化部署的关键技术：模型量化： 通过降低模型的精度，减小模型的大小，提高运行速度。 随着硬件资源的不断提升和模型优化技术的不断发展，本地化部署的应用前景将更加广阔。
1.8K10编辑于 2025-03-10 - 来自专栏机器学习与统计学
量化大模型，本地部署，效果不打折
这标志着模型量化技术的一个重要突破：极低的比特数不再意味着性能的大幅牺牲。 这种方法并非对模型的所有层“一视同仁”地进行压缩。通过研究，Unsloth 发现模型中的某些张量（如 attn_k_b）对量化操作极为敏感。 结论 Unsloth 的动态量化技术证明，通过智能的、非均匀的量化策略，我们可以在大幅压缩模型体积的同时，保持甚至超越 SOTA 模型的性能。 这使得在本地消费级硬件上运行高性能的巨型模型成为可能，为 AI 社区和开发者带来了巨大的价值。 对于追求本地化、低成本部署高性能模型的用户来说，Unsloth 的动态量化模型无疑是当前最值得关注的方案之一。
51510编辑于 2025-11-29 - 来自专栏全栈开发日记
本地部署DeepSeek-R1大模型
本文手把手教你部署DeepSeek模型，并通过本地API实现对话、编程、数据分析，小白也能秒变AI玩家！ 一、准备工作：安装Ollama Ollama是一个轻量级工具，支持在本地一键运行大模型（如Llama、DeepSeek等），无需复杂配置。 1. 二、一键部署DeepSeek模型 Ollama内置了主流模型库，直接通过命令行拉取即可。 • 输入问题测试（如“用Python写一个快速排序算法”），模型会即时生成回复。 三、本地API调用 Ollama默认开启本地API服务（端口11434），可直接通过HTTP调用。 方法1. • 回复速度慢：关闭其他占用显存的程序，或尝试更小规模的模型（如deepseek-7b）。 通过Ollama，DeepSeek大模型的部署和调用变得前所未有的简单！
2.5K10编辑于 2025-02-10 - 来自专栏开源项目搭建
简单3步部署本地国产大模型DeepSeek大模型
简单3步部署本地国产大模型DeepSeek大模型DeepSeek是最近非常火的开源大模型，国产大模型 DeepSeek 凭借其优异的性能和对硬件资源的友好性，受到了众多开发者的关注。 本文将介绍如何通过简单 3 步在本地部署 DeepSeek 大模型，让你能够轻松体验这一强大的 AI 工具。 readme-ov-file#installation-with-default-configuration可以看到，如果你的Ollama和Open WebUI在同一台主机，那使用下面显示的这一行命令就可以在本地快速进行部署 使用Ollama在本地搭建DeepSeek具有充分利用本地算力、保护数据隐私、便捷更新模型等优点，但同时也存在硬件要求高、技术门槛高、部署过程繁琐等缺点。 用户在选择是否进行本地部署时，应根据自己的实际需求和技术水平进行权衡。写文不易，如果你都看到了这里，请点个赞和在看，分享给更多的朋友；也别忘了关注星哥玩云！
6.3K33编辑于 2025-02-06 本地部署DeepSeek R1大模型
1.2 安装cherry studio 前往官网https://cherry-ai.com/download下载对应操作系统的安装包 1.3 下载deepseek R1本地模型 直接前往Ollama官网 老周这里让 DeepSeek 帮我推荐使用哪个参数的模型。 它不仅能调用你本地下载的模型，还可以连接各种云端模型服务，使用起来非常便捷。 1.4 设置Cherry Studio 然后在聊天界面，选择你所要对话的大模型，就可以直接对话了。 如果出现对话说明本地部署DeepSeek R1大模型成功了。如果出现404啥的说明你没有配置对API地址，检查下面这两个操作是否配置对了。 默认模型选择你下载好的模型~ 我让DeepSeek帮我安排一个行程，推理阶段吃掉我一半的CPU、内存也只省2G左右。
67410编辑于 2025-11-20- 来自专栏机器学习与统计学
大模型本地部署，小号的vLLM来了
按贡献者数量排名的顶级开源项目 按贡献者数量增长最快的项目 吸引最多首次贡献者的项目 这个推理引擎也是我最喜爱的，本号测试部署的 N 多大模型都是用它来部署的 大模型_本地部署_，vLLM 睡眠模式来了 快手编程大模型真实水平，本地部署，实测 智谱 GLM-4.5-Air 量化大模型，本地部署，实测 字节跳动开源大模型 Seed-OSS-36B，本地部署，性能实测 本地部署大模型性能测试，DeepSeek-R1 -0528-Qwen-8B 依然是我的不二之选 DeepSeek-R1-0528 蒸馏 Qwen3:8B 大模型，双 4090_本地部署_，深得我心 唯一让我不满的是我在内网用 docker 起 vLLM 下载完整模型库 `modelscope download --model Qwen/Qwen3-0.6B 下载单个文件到指定本地文件夹（以下载 README.md 到当前路径下“dir”目录为例） modelscope ，时延更小，吞吐量更大，看起来是很不错的样子 时间关系，我还没有本地跑大参数模型，后续肯定要试一试的。
73110编辑于 2025-11-20 - 来自专栏前端技术江湖
chatTTS 最强文字转语音模型本地部署!
今天本地部署了下传说中的语音合成大模型chatTTS，合成效果非常不错，比市面上其他工具合成的感情更丰富，语气更自然一些，一起来听听。 精细的控制: 该模型可以预测和控制精细的韵律特征，包括笑声、停顿和插入语。 更好的韵律: ChatTTS 在韵律方面超越了大多数开源 TTS 模型，提供预训练模型以支持进一步的研究和开发。 windows上部署 部署非常简单，下载安装包即可使用。 下载压缩包（链接在文章最后），解压后双击 app.exe 即可使用 某些安全软件可能报毒，请退出或使用源码部署 英伟达显卡大于4G显存，并安装了CUDA11.8+后，将启用GPU加速 mac上部署 git
2.6K10编辑于 2024-07-05 - 来自专栏机器学习与统计学
腾讯混元OCR大模型，本地部署，实测
大家好，我是章北海 前文我升了 CUDA、部署了 DeepSeek-OCRDeepSeek-OCR 本地部署（上）：CUDA 升级 12.9，vLLM 升级至最新稳定版 DeepSeek-OCR 本地部署 （下）：vLLM 离线推理，API 重写，支持本地图片、PDF 解析重写的 API 也支持 PaddleOCR-VL本地部署 PaddleOCR，消费级显卡轻松跑，支持本地图片和 PDF 文件 然后腾讯也来了 ：大模型 OCR 的黄金时代，腾讯开源混元 OCR，文档解析、视觉问答和翻译方面达到 SOTA，文中我提到想等等看新版 vLLM 来了再部署 可是看到 N 多同学部署失败，还有 HunyuanOCR 到底需要多少显存可以跑起来有点疑问 前文我就提到，可能是官方文档写错了现存和磁盘空间，当时写的是需要 80GB 显存 后来修改成了 20GB 官方文档将显存需求从 80GB 改成了 20GB，即便如此也有点离谱，毕竟只是 1B 的模型 安装及模型启动 回到最开始问题，启动模型加上参数 --gpu-memory-utilization 0.66，也就是 16GB 启动模型，依然是 OK 的 而且速度丝毫没有下降
1.4K10编辑于 2025-12-24 - 来自专栏AI技术应用
AI大模型本地化部署的流程
本地化大模型的步骤通常包括以下几个关键环节。1.需求分析明确目标：确定本地化大模型的具体用途，如文本生成、翻译、问答等。资源评估：评估本地硬件资源（如GPU、内存、存储）和预算。 5.模型训练微调模型：在本地数据上微调预训练模型。超参数调优：调整学习率、批量大小等超参数。分布式训练：如果数据量大，考虑分布式训练。6.模型评估性能评估：使用验证集评估模型性能。 7.模型优化模型压缩：通过剪枝、量化等技术压缩模型。加速推理：使用ONNX、TensorRT等工具优化推理速度。8.部署本地部署：将模型部署到本地服务器或边缘设备。 9.监控与维护性能监控：持续监控模型性能。模型更新：定期更新模型以保持最佳性能。10.文档与支持文档编写：记录模型训练、部署和维护的详细步骤。技术支持：提供必要的技术支持，解决使用中的问题。 通过这些步骤，可以成功在本地环境中部署和运行大模型，满足特定需求。
1.4K10编辑于 2025-03-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号