- 综合排序
- 最热优先
- 最新优先
- 来自专栏小新笔记坊
CentOS本地部署语言模型
部署环境 操作系统：CentOS Linux release 8.2.2004 显卡：GTX1060 内存：16GB 操作步骤 安装英伟达显卡驱动 1.下载英伟达显卡驱动包，并上传服务器。 ls mod | grep nouveau 6.进入上传的英伟达显卡驱动目录，赋予英伟达显卡驱动可执行权限。 chmod +x 驱动文件名.run 7.执行，全部选yes。 2.在docker容器参数中编辑参数，映射容器内某目录（例如/home）至本地一个目录文件夹用于导入本地模型。 例如： /home/models /home/models /home/ollama /root/.ollama 3.进入docker容器内部导入模型即可。 安装OpenWebUi 1.拉取docker镜像后，导入本地镜像并运行容器。
82500编辑于 2025-02-13 - 来自专栏京东技术
GPT大语言模型Vicuna本地化部署实践
Tech 导读 Vicuna是开源大模型中的佼佼者，在语义理解、多语言支持和推理效果方面都优于同时期出现的其他开源大模型，本文对Vicuna模型进行单机部署和实践，探索Vicuna模型使用细节并验证推理效果 《GPT大语言模型Alpaca-lora本地化部署实践》介绍了斯坦福大学的Alpaca-lora模型的本地化部署，并验证了实际的推理效果，总体感觉并不是特别理想，原始Alpaca-lora模型对中文支持并不好 基础环境的部署已经在《GPT大语言模型Alpaca-lora本地化部署实践》里介绍过了，本文直接跳过，这里面着重介绍比较容易出问题的几个地方。 基于大模型的本地化部署工作目前就告一段落了，后续做的工作可能有以下几点： 1）如果有更好的显卡，可以对vicuna进行fine-tuinig，验证一下fine-tuning之后模型能不能学到特定领域的知识 ； 2）找到合适的与目前应用结合的场景，将大语言模型应用落地； 3）基于vicuna开源项目进行二次开发，封装成可用的服务； 4）基于大语言模型进行更多的探索和学习 打造SAAS化服务的会员徽章体系，可以作为标准的产品化方案统一对外输出
1.4K30编辑于 2023-08-22 - 来自专栏.Net Core技术分享
Ollama本地部署大模型总结
ollama run deepseek-r1:1.5b 下载完成后，ollama会为我们运行刚下载的大模型。下面是我运行成功的截图： 第三步：使用大模型 恭喜你已经在本地成功安装了第一个私有大模型。 安装完成后打开，你会看到一个聊天窗口： 使用ollama中的大模型 我们在上一篇中在本地安装了ollama和deepseek，现在我们把它集成到刚安装的chatbox中。 和本地大模型对话 点击左侧新对话，开启新的对话。 向大模型提问试试吧 创建智能体 恭喜你已经完成了ollama和chatbox的集成，现在你的对话数据都保留在本地，绝对的安全和隐私。 Ollama API 使用指南 Ollama 提供了一套简单好用的接口，让开发者能通过API轻松使用大语言模型。 本篇内容将使用Postman作为请求工具，和开发语言无关。 在内容生成API中，我们仅传入了prompt，大模型仅对我们本地的prompt进行回答，而在生成对话API中，我们还可以传入messages参数，包含我们多轮对话内容，使大模型具备记忆功能。
5.4K11编辑于 2025-03-30 - 来自专栏AllTests软件测试
本地部署AI大模型DeepSeek
DeepSeek的核心产品，是一系列强大的大语言模型。 官方网址： https://www.deepseek.com/ 本篇讲解如何快速的在本地部署AI大模型DeepSeek。 2、本地部署DeepSeek 1、首先要下载安装Ollama。 Ollama是一个开源的大型语言模型本地部署框架。 特点： 多平台支持，如Windows、macOS、Linux，还支持Docker，方便跨平台部署。 本地运行，让用户可在本地设备上运行大型语言模型，无需网络连接也能使用部分功能。 官方网址： https://ollama.com/ 快速上手使用大语言模型。 它支持多种大语言模型运行程序，如Ollama和兼容OpenAI的应用程序编程接口（API），还内置了用于检索增强生成（RAG）的推理引擎，使其成为一个强大的人工智能部署解决方案。
93710编辑于 2025-02-10 - 来自专栏陈冠男的游戏人生
使用ollama本地部署开源大模型
chatGPT 刚出来没多久的时候，openai 时不时的限制使用频率，当时我想要是能本地部署一个大模型，无限制的使用该多好哇。 后来有很多团队/公司陆陆续续在 github 开源了他们自己训练的大模型，但是部署使用的操作门槛比较高，曾经试图部署过一个，报了几个错也没时间折腾就放弃了 前几天我发现了一个叫 ollama 的项目，根据介绍 ，一条命令就能跑起来一个大模型，因此实际体验了一下，项目地址： https://github.com/ollama/ollama 先说一下使用体验，极其丝滑，完全没有报错，感觉就像是刚开始学 web 安全 ，此时就已经部署结束了 可以在：https://ollama.com/library 找到更多的模型 但是在命令行中直接交互里很多格式解析不出来，看起来怪怪的，可以使用 chatbot-ollama 这个项目部署一个 /openai-translator/openai-translator 直接去 release 下载安装包后运行，在设置中选择本地大模型，并选择 API 模型为你已经下载好的本地模型保存即可 使用效果
3.2K20编辑于 2024-03-05 - 来自专栏Python与算法之美
Ollama 本地CPU部署开源大模型
Ollama可以在本地CPU非常方便地部署许多开源的大模型。 如 Facebook的llama3, 谷歌的gemma, 微软的phi3，阿里的qwen2 等模型。 完整支持的模型列表可以参考：https://ollama.com/library 它基于llama.cpp实现，本地CPU推理效率非常高（当然如果有GPU的话，推理效率会更高）, 还可以兼容 openai ollama run qwen2 #跑qwen2模型，如果本地没有，会先下载 ollama pull llama3 #下载llama3模型到本地 ollama list #查看本地有哪些模型可用 ollama rm #删除本地的某个模型 ollama help #获取帮助 ! 人们往往在无意识中用身体语言表达出自己的感情，尤其是在真正爱一个人的时候。 然而，“爱两个人就一定要藏住”，则可能暗示了对爱情的不同层次或更复杂的考量。
4.1K11编辑于 2024-06-26 6个开源的最佳本地运行大语言模型（LLM）工具
你可以使用 图形界面工具（如 LM Studio） 或 命令行工具（如 Ollama） 在本地尝试运行大语言模型（LLMs）。 开始使用 GPT4ALL 要开始使用 GPT4ALL 在本地运行大语言模型，请下载[15]与你的操作系统匹配的对应版本。 LLaMa.cpp 支持主流大语言模型（LLM）推理，具备极简配置要求，并在各类硬件上实现了出色的本地性能表现。它同样也可以运行于云环境中。 本地 LLM 的使用场景 在本地运行大语言模型（LLMs）对于那些希望深入理解模型性能与原理的开发者来说非常有帮助。 本地 LLM 工具总结 正如本文所述，选择在本地运行大语言模型（如 DeepSeek R1）有多种动因。
6.3K10编辑于 2026-03-13- 来自专栏微言码道
本地部署大模型的几种方式
相较于其它一些方式, 有一定的编程或技术上的门槛, Ollama可以说是把本地部署大模型这个以前有点技术含量或难度的事情完全傻瓜化了. 就算你是一个编程的门外汉, 都可以轻松的使用Ollama来部署一个本地大模型. 我在这里以最新的Llama 3来举例说明如何运行一个本地大模型. 如果仅仅是要部署一个本地大模型, 没有比Ollama更简单方便的方式了. VLLM Vllm是一个python类库, 在知道与了解Ollama之前, 最开始我都是基于VLLM来部署类似的开源大模型. 总结 开源大模型, 或者说本地化运行一个开源大模型, 现在已经越发的简单与低门槛了. 只要有足够的GPU硬件, 本地化部署与运行开源大模型非常简单及易于实现. 想部署一个本地大模型玩玩? 今天, 私有化本地部署一个大模型早已不是什么有门槛或技术含量的工作了, 对于那些追赶AI热潮的人来说, 找到AI对你业务实现的价值可能才是更具挑战的事情.
8.9K21编辑于 2024-04-23 - 来自专栏YO大数据
【AI大模型】基于ChatGLM-6b从零开始本地部署语言模型，步骤详细无坑版
模型下载 5.模型调用 5.1 代码调用 5.2 web页面调用 6.报错解决相关文章参考 1.什么是ChatGLM-6B ChatGLM-6B 是的一种自然语言处理模型，属于大型生成语言模型系列的一部分 6B"在这里指的是模型大约拥有60亿个参数，这些参数帮助模型理解和生成语言。ChatGLM-6B 特别设计用于对话任务，能够理解和生成自然、流畅的对话文本。 这个模型通过大量的文本数据进行训练，学习如何预测和生成语言中的下一个词，从而能够参与到各种对话场景中。 此时可以先将模型下载到本地，然后从本地加载。 ，上代码中的 THUDM/chatglm-6b 替换为你本地的 chatglm-6b 文件夹的路径，即可从本地加载模型。
1.9K00编辑于 2024-05-25 - 来自专栏AI技术应用
AI大模型本地化部署
AI大模型本地化部署是将大规模人工智能模型（如GPT、LLaMA、DeepSeek等）部署到本地服务器或设备上，以满足数据隐私、安全性和性能需求的过程。 以下是AI大模型本地化部署的关键步骤、技术难点及解决方案。一、本地化部署的关键步骤1.需求分析与规划 明确应用场景（如智能客服、文本生成、图像识别等）。评估本地硬件资源（GPU、内存、存储）和预算。 5.模型部署使用推理框架（如ONNX、TensorRT）优化模型推理性能。部署模型到本地服务器或边缘设备，提供API接口供调用。6.监控与维护持续监控模型性能和硬件状态。定期更新模型以保持最佳性能。 国产化适配：国产AI算力和模型（如DeepSeek）将加速普及。边缘计算：大模型将更多部署到边缘设备，满足实时性需求。 通过以上步骤和解决方案，AI大模型本地化部署可以更好地满足行业需求，推动AI技术的广泛应用。
4.9K10编辑于 2025-03-08 - 来自专栏开源项目搭建
简单3步部署本地国产大模型DeepSeek大模型
简单3步部署本地国产大模型DeepSeek大模型DeepSeek是最近非常火的开源大模型，国产大模型 DeepSeek 凭借其优异的性能和对硬件资源的友好性，受到了众多开发者的关注。 本文将介绍如何通过简单 3 步在本地部署 DeepSeek 大模型，让你能够轻松体验这一强大的 AI 工具。 什么是OllamaOllama是一个开源项目，旨在让用户能够轻松地在其本地计算机上运行大型语言模型（LLM），是一个开源的大型语言模型服务。 第二步、安装DockerOpen WebUI是一个用于在本地运行大型语言模型（LLM）的开源Web界面。Open WebUI是在docker中安装的，所以要先安装docker。 使用Ollama在本地搭建DeepSeek具有充分利用本地算力、保护数据隐私、便捷更新模型等优点，但同时也存在硬件要求高、技术门槛高、部署过程繁琐等缺点。
6.8K33编辑于 2025-02-06 - 来自专栏京东技术
GPT大语言模型Alpaca-lora本地化部署实践
Tech 导读 大模型技术日新月异，开源大模型层出不穷，本文针对开源大模型Alpaca-lora进行本地化部署实践，探索大模型在部署和使用方面的细节。 Alpaca模型是斯坦福大学研发的LLM（Large Language Model，大语言）开源模型，是一个在52K指令上从LLaMA 7B（Meta公司开源的7B）模型微调而来，具有70亿的模型参数（ LoRA，英文全称Low-Rank Adaptation of Large Language Models，直译为大语言模型的低阶适应，这是微软的研究人员为了解决大语言模型微调而开发的一项技术。 如果想让一个预训练大语言模型能够执行特定领域内的任务，一般需要做fine-tuning，但是目前推理效果好的大语言模型参数维度非常非常大，有些甚至是上千亿维，如果直接在大语言模型上做fine-tuning 图1.LoRA的做法 本文进行本地化部署实践的Alpaca-lora模型就是Alpaca模型的低阶适配版本。本文将对Alpaca-lora模型本地化部署、微调和推理过程进行实践并描述相关步骤。
1.6K21编辑于 2023-08-22 - 来自专栏AI技术应用
AI大模型的本地化部署
AI大模型的本地化部署，是将原本在云端运行的大型人工智能模型，转移到本地的硬件设备上运行。这种部署方式，在数据隐私、网络延迟、成本控制等方面，都有着重要的意义。 以下是关于AI大模型本地化部署的一些关键方面。1. 本地化部署的优势：数据隐私： 本地部署可以最大限度地保护敏感数据，避免数据在传输和存储过程中泄露的风险。 离线运行： 本地部署使得应用可以在没有网络连接的情况下运行，提高了应用的可用性。2. 本地化部署的技术难点：硬件资源限制： 大模型通常需要大量的计算资源和内存，如何在有限的硬件资源上运行，是一个挑战。 本地化部署的应用场景：智能手机： 图像识别、语音识别、自然语言处理等。智能家居： 语音助手、智能安防、智能控制等。工业自动化： 质量检测、故障预测、智能控制等。 边缘计算： 在靠近数据源的边缘设备上运行模型，减少数据传输和处理延迟。总而言之，AI大模型的本地化部署，是一项具有挑战性但也充满机遇的技术。
2.4K10编辑于 2025-03-10 - 来自专栏机器学习与统计学
量化大模型，本地部署，效果不打折
大家好，我是 AI 学习的老章 Unsloth 出圈是 DeepSeek-R1 爆火的时候，它发布了最小 1.58 位量化版本的 R1，把 DeepSeek-R1 这个非常大的模型（它有 6710 亿个参数 Unsloth 秘密武器是动态量化，核心思路是：对模型的少数关键层进行高质量的 4-6bit 量化，而对大部分相对没那么关键的混合专家层（MoE）进行大刀阔斧的 1-2bit 量化。 动态 GGUF 量化技术 通过动态 GGUF 量化技术，像 DeepSeek-V3.1 (671B) 这样的巨型语言模型（LLMs）可以被量化到仅 1-bit 或 3-bit，但在 Aider Polyglot 这使得在本地消费级硬件上运行高性能的巨型模型成为可能，为 AI 社区和开发者带来了巨大的价值。 对于追求本地化、低成本部署高性能模型的用户来说，Unsloth 的动态量化模型无疑是当前最值得关注的方案之一。
1.3K10编辑于 2025-11-29 - 来自专栏机器学习与统计学
大模型本地部署，vLLM 睡眠模式来了
多模型服务的挑战： 你有两个大语言模型，每个都能单独运行在GPU上，但无法同时加载。传统方案迫使您在两个不理想的选择中权衡： 1. （小模型约0.1-0.8秒，大模型约3-6秒） • 需要充足的CPU内存来存储模型权重 • 最适合： 具有足够CPU内存的系统，频繁的模型切换 级别2： 丢弃模型权重和KV缓存，仅在CPU中保留缓冲区（ 使用睡眠级别1的场景： • 您有足够的CPU内存来容纳所有模型权重 • 您需要最快的唤醒时间（0.1-6秒） • 您非常频繁地切换模型（每几秒/分钟） • 推理延迟一致性至关重要 使用睡眠级别2的场景： ，离线部署，支持vLLM、SGLang、llama.cpp等引擎 快手编程大模型真实水平，本地部署，实测 智谱GLM-4.5-Air量化大模型，本地部署，实测 字节跳动开源大模型Seed-OSS-36B ，本地部署，性能实测
1.3K10编辑于 2025-11-20 本地部署DeepSeek R1大模型
1.2 安装cherry studio 前往官网https://cherry-ai.com/download下载对应操作系统的安装包 1.3 下载deepseek R1本地模型 直接前往Ollama官网 老周这里让 DeepSeek 帮我推荐使用哪个参数的模型。 它不仅能调用你本地下载的模型，还可以连接各种云端模型服务，使用起来非常便捷。 1.4 设置Cherry Studio 然后在聊天界面，选择你所要对话的大模型，就可以直接对话了。 如果出现对话说明本地部署DeepSeek R1大模型成功了。如果出现404啥的说明你没有配置对API地址，检查下面这两个操作是否配置对了。 默认模型选择你下载好的模型~ 我让DeepSeek帮我安排一个行程，推理阶段吃掉我一半的CPU、内存也只省2G左右。
84210编辑于 2025-11-20- 来自专栏机器学习与统计学
大模型本地部署，小号的vLLM来了
按贡献者数量排名的顶级开源项目 按贡献者数量增长最快的项目 吸引最多首次贡献者的项目 这个推理引擎也是我最喜爱的，本号测试部署的 N 多大模型都是用它来部署的 大模型_本地部署_，vLLM 睡眠模式来了 快手编程大模型真实水平，本地部署，实测 智谱 GLM-4.5-Air 量化大模型，本地部署，实测 字节跳动开源大模型 Seed-OSS-36B，本地部署，性能实测 本地部署大模型性能测试，DeepSeek-R1 -0528-Qwen-8B 依然是我的不二之选 DeepSeek-R1-0528 蒸馏 Qwen3:8B 大模型，双 4090_本地部署_，深得我心 唯一让我不满的是我在内网用 docker 起 vLLM 下载完整模型库 `modelscope download --model Qwen/Qwen3-0.6B 下载单个文件到指定本地文件夹（以下载 README.md 到当前路径下“dir”目录为例） modelscope ，时延更小，吞吐量更大，看起来是很不错的样子 时间关系，我还没有本地跑大参数模型，后续肯定要试一试的。
1.1K10编辑于 2025-11-20 - 来自专栏全栈开发日记
本地部署DeepSeek-R1大模型
从安装到API调用全流程指南 想不依赖网络、零门槛运行AI大模型？Ollama帮你轻松实现！ 本文手把手教你部署DeepSeek模型，并通过本地API实现对话、编程、数据分析，小白也能秒变AI玩家！ 一、准备工作：安装Ollama Ollama是一个轻量级工具，支持在本地一键运行大模型（如Llama、DeepSeek等），无需复杂配置。 1. 二、一键部署DeepSeek模型 Ollama内置了主流模型库，直接通过命令行拉取即可。 • 回复速度慢：关闭其他占用显存的程序，或尝试更小规模的模型（如deepseek-7b）。 通过Ollama，DeepSeek大模型的部署和调用变得前所未有的简单！
2.9K10编辑于 2025-02-10 - 来自专栏Linux运维技术之路
Deepseek大模型本地化安装部署
本地部署基于 Ollama 的 DeepSeek 模型，可以按照以下步骤操作。Ollama 是一个用于本地运行大型语言模型（LLM）的工具，支持多种模型，包括 DeepSeek。 一. 运行以下命令安装 Ollama： brew install ollama 或者这下载文件（https://ollama.com/download/Ollama-darwin.zip），本地安装 Linux 通过 API 调用 DeepSeek 模型 Ollama 提供了一个本地 API，可以通过 HTTP 请求与模型交互。 启动 API 服务 1. 发送请求 使用 curl 或编程语言（如 Python）发送请求。 • 量化模型：将模型量化为较低精度（如 8-bit 或 4-bit），以减少内存占用和提高速度。 • 调整参数：降低 max_tokens 或 temperature 以减少计算量。 6.
1.3K10编辑于 2025-02-06 - 来自专栏知识学习
使用MaxKB添加本地部署的Ollama大语言模型搭建智能聊天系统
MaxKB 是一款基于 LLM 大语言模型的知识库问答系统,支持开箱即用,当MaxKB接入本地大语言模型的时候,限制只能使用域名才能接入,无法使用本地或者局域网IP进行设置添加本地大语言模型,本文介绍结合 cpolar内网穿透工具,实现MaxKB 成功导入本地的大语言模型! 下面介绍在windwos本地运行大语言模型框架Ollama,并在Ollama中下载大语言模型llama2,然后在MaxKB中导入添加该windwos运行的本地大语言模型到MaxKB中,创建属于我们自己的智能问答应用 ,下面进行安装大语言模型. 2. 6.
2.2K10编辑于 2024-10-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号