- 综合排序
- 最热优先
- 最新优先
- 来自专栏开源项目搭建
简单3步部署本地国产大模型DeepSeek大模型
简单3步部署本地国产大模型DeepSeek大模型DeepSeek是最近非常火的开源大模型，国产大模型 DeepSeek 凭借其优异的性能和对硬件资源的友好性，受到了众多开发者的关注。 本文将介绍如何通过简单 3 步在本地部署 DeepSeek 大模型，让你能够轻松体验这一强大的 AI 工具。 从注册表中拉取模型命令：ollama pull [模型名称]功能：从模型注册表中拉取一个模型到本地使用。 将模型推送到注册表命令：ollama push [模型名称]功能：将本地模型推送到模型注册表中，以便他人或其他系统使用。 使用Ollama在本地搭建DeepSeek具有充分利用本地算力、保护数据隐私、便捷更新模型等优点，但同时也存在硬件要求高、技术门槛高、部署过程繁琐等缺点。
6.3K33编辑于 2025-02-06 - 来自专栏开发三两事
llama3&open-webui快速实现本地模型搭建
前言 最近工作生活中经常使用一些人工智能来提升效率，用处最多的感觉还是写一些工具类，就算写的不如意，自己稍微调整也可以很快支持；再就是一些命令，有时长时间不用会淡忘，这时候有ai模型去提示感觉效率很高； 模型下载 ollama提供了很充足的模型下载 点击这里可以找到很多有用的模型 可以搜索自己想要的模型测试，不过新出的llama3对中文支持还不是太好，大家可以直接搜索 llama3-8b-chinese-chat-ollama-q8 这个模型是对llama3进行了中文微调后的模型，相对对中文比较友好 一般小型模型也得几个G，下载需要一会时间等待，下载完成在webui首页就可以选择开始使用了； 本地模型使用 可以看到首页下拉框中可以选择我们已经下载好的模型 开始本地模型测试，断网后也可以离线使用了，完全不用担心信息外泄，不过一般个人电脑也仅仅是运行起来，速度比较慢，只能满足下自己日常的好奇心，真正要投入生产还是需要一个不错的机器才行，自己也可以下一些响应速度更快的 :11434/api/generate -d '{ "model": "phi3", "prompt":"你好，写个冒泡" }' 总结 本地模型搭建基本能满足自己日常工作需求，只是速度相对比较慢
2.3K50编辑于 2024-04-29 - 来自专栏计算机图形学 前端可视化 WebGL
WebGL加载本地模型
我们的引擎，基于three封装，同样有加载模型的loader，因此加载obj和gltf模型也是很简单就可以实现的。 不过加载文件都是在线的文件，也就是通过url的形式进行加载。 团队开发的三维可视化平台框架，需要能够上传obj和gltf等格式的模型，在上传前，需要先对模型预览，这就涉及到如何加载本地模型的问题了。 加载本地模型 本文以gltf为例，进行说明。 加载本地模型的思路是这样的： 既然引擎可以通过url的机制，加载模型。 那么如果有一种机制，可以把本地文件及其关联的资源（比如贴图）等转换成url的形式，就可以进行使用loader进行访问了。 加载本地模型 有了上述基础知识，大致的思路就出来了： 首先 加载本地文件，读取file对象（可能是多个File对象，因为一个模型可能包括多个资源文件）。 除gltf模型外，其他格式的模型，比如fbx或者obj，也可以类似操作。
2.4K30编辑于 2022-05-11 - 来自专栏林德熙的博客
dotnet 将本地的 Phi-3 模型与 SemanticKernel 进行对接
在本地完成 Phi-3 模型的部署之后，即可在本地拥有一个小语言模型。 本文将告诉大家如何将本地的 Phi-3 模型与 SemanticKernel 进行对接，让 SemanticKernel 使用本地小语言模型提供的能力 在我大部分的博客里面，都是使用 AzureAI 和 本文将在上一篇博客的基础上，告诉大家如何将本地的 Phi-3 模型与 SemanticKernel 进行对接 依然是和上一篇博客一样准备好 Phi-3 模型的文件夹，本文这里我放在 C:\lindexi Phi-3 模型和 SemanticKernel 进行连接就此完成。 (modelPath)); 这就是完全自己实现将本地 Phi-3 模型与 SemanticKernel 进行对接的方法了，尝试运行一下项目，或者使用以下方法拉取我的代码更改掉模型文件夹，试试运行效果 本文代码放在
58010编辑于 2024-06-20 - 来自专栏小新笔记坊
CentOS本地部署语言模型
pip3 install *.whl 3.验证PyTorch版本。 python3 -c "import torch; print(torch.version.cuda); print(torch.cuda.is_available())" 4.输入python3进入python 2.在docker容器参数中编辑参数，映射容器内某目录（例如/home）至本地一个目录文件夹用于导入本地模型。 例如： /home/models /home/models /home/ollama /root/.ollama 3.进入docker容器内部导入模型即可。 安装OpenWebUi 1.拉取docker镜像后，导入本地镜像并运行容器。
62300编辑于 2025-02-13 - 来自专栏云技术与
ollama 离线安装本地模型
github.com/ollama/ollama/blob/main/docs/linux.md 安装包下载地址：https://ollama.com/download/ollama-linux-amd64.tgz 3. 下载安装脚本install.sh 下载 https://ollama.com/install.sh，编辑如下 修改安装路径改成本地安装 #! 的大小1.1G 的模型 3：47 开始 很慢 打开终端，输入以下命令下载并运行deepseek模型，例如下载1.5B 模型 ollama run deepseek-r1:1.5b pulling aabd4debf0c8 ，可以运行其他模型 ollama run deepseek-r1:7b ollama run deepseek-r1:14b ollama run deepseek-r1:32b DeepSeek本地化部署硬件配置要求一览表 ： 7 启动ollama 服务 ollama serve 服务启动后，可以通过访问 http://localhost:11434 来与模型进行交互 Ollama 启动默认只有127.0.0.1 本地可以访问
1.7K10编辑于 2025-10-31 - 来自专栏AllTests软件测试
本地部署AI大模型DeepSeek
官方网址： https://www.deepseek.com/ 本篇讲解如何快速的在本地部署AI大模型DeepSeek。 2、本地部署DeepSeek 1、首先要下载安装Ollama。 Ollama是一个开源的大型语言模型本地部署框架。 特点： 多平台支持，如Windows、macOS、Linux，还支持Docker，方便跨平台部署。 本地运行，让用户可在本地设备上运行大型语言模型，无需网络连接也能使用部分功能。 官方网址： https://ollama.com/ 快速上手使用大语言模型。 在本地运行Llama 3.3、DeepSeek-R1、Phi-4、Mistral、Gemma 2等模型。 根据所属平台，下载指定的Ollama。 3、安装人工智能界面Open WebUI。 Open WebUI是一个可扩展、功能丰富且用户友好的自托管人工智能平台，设计为完全离线运行。
76910编辑于 2025-02-10 - 来自专栏leehao
采用Ollama运行本地大模型
Ollama Ollama， 羊驼，快速的在本地电脑上运行大模型，只需要下载一个应用包即可，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，无需安装额外的环境依赖和编译等操作。 国内比较好的模型，如glm4和qwen系列均可选择 注意：模型对内存和显卡有要求，根据电脑的实际配置选取模型。 在推理的时候，显存使用率较高，如果模型较大，则推理速度较慢。8G显存在运行9B模型的时候，非常丝滑，在运行14B模型的时候，类似打字机一样，比较慢。 常用命令 获取模型 ollama pull llama3 运行模型 ollama run llama3 移除模型 ollama rm llama3 多模态 What's in this image? /Users/jmorgan/Desktop/smile.png 显示模型信息 ollama show llama3 罗列已安装模型 ollama list 后端运行服务 ollama serve 下节整合
1.3K20编辑于 2025-02-11 用 LangChain 驱动本地 Ollama 模型
这篇文章，我们就来完整走一遍：如何使用 LangChain，基于最新 Runnable API，调用本地启动的 Ollama 模型，构建一个真正可用的本地大模型应用。 1️⃣ Ollama：本地大模型的“Docker”你可以把 Ollama 理解为：专门为大模型设计的一层运行时基础设施。 AI 助手》《为本地部署的大模型添加 API Key 认证：Nginx 实现方案》2️⃣ 拉取并运行模型以 qwen3:8b 为例：ollama pull qwen3:8b简单测试：ollama run qwen3:8b如果可以正常对话，说明模型已经在本地成功运行。 / 超大模型❌ 面向公网的 C 端产品七、一些来自实践的工程建议最后分享几点真实踩坑后的经验：模型别贪大7B / 8B 是当前本地部署的性价比甜点位Prompt 比模型更重要本地模型对 Prompt 非常敏感
76410编辑于 2026-02-10- 来自专栏AI SPPECH
MCP Client 与 Ollama 本地模型
支持无缝切换本地模型和云端模型 简化多模型部署和管理 新要素 3：Ollama 工具调用支持 支持 Ollama 模型的工具调用能力 实现与 MCP 协议的无缝对接 支持动态能力协商 2.2 本地模型优化机制 **标准化接口**：提供统一的 API 接口，简化本地模型集成 2. **多模型支持**：支持同时管理和使用多个本地模型 3. **混合部署**：原生支持本地模型与云端模型的混合使用 4. **模型兼容性**：不同本地模型的 API 接口和功能可能存在差异 2. **性能优化**：本地模型的性能优化仍需要进一步改进 3. **可视化管理**：本地模型的可视化管理工具仍需完善 4. **促进本地模型的普及**：简化本地模型的集成和使用，降低本地模型的使用门槛 2. **推动混合部署模式的发展**：结合本地模型和云端模型的优势，优化成本和性能 3. **从简单开始**：先从简单的本地模型集成入手，逐步扩展功能 2. **选择合适的模型**：根据任务需求和硬件资源选择合适的本地模型 3.
43710编辑于 2026-01-07 - 来自专栏.Net Core技术分享
Ollama本地部署大模型总结
ollama run deepseek-r1:1.5b 下载完成后，ollama会为我们运行刚下载的大模型。下面是我运行成功的截图： 第三步：使用大模型 恭喜你已经在本地成功安装了第一个私有大模型。 和本地大模型对话 点击左侧新对话，开启新的对话。 向大模型提问试试吧 创建智能体 恭喜你已经完成了ollama和chatbox的集成，现在你的对话数据都保留在本地，绝对的安全和隐私。 运行起来后界面如下： 集成ollama中的本地模型 将cherryStudio运行起来后，点击界面左下角的小齿轮进行设置。 我这里使用的是bge-m3，你可以通过下面的指令获取： ollama pull bge-m3 注意：嵌入模型保存后不允许修改 添加知识内容 为了进行演示，我们将本系列教程的前三篇放入知识库中： 然后创建一个新的对话 这些API的列表如下： 模型创建（/api/create） 列出本地模型（/api/tags） 查看模型信息（/api/show） 复制模型（/api/copy） 删除模型（/api/delete） 拉取模型
4.7K11编辑于 2025-03-30 - 来自专栏小白鼠
Ionic3 本地消息推送
后面就想在每次启动app的时候，本地推送一次消息，碰巧官网上发现了这个插件，de.appplant.cordova.plugin.local-notification。 ?
1.4K20发布于 2018-08-21 - 来自专栏机器之心
Stability AI发布Stable Code 3B模型，没有GPU也能本地运行
在文生图领域大火的 Stability AI，今天宣布了其 2024 年的第一个新 AI 模型：Stable Code 3B。 顾名思义，Stable Code 3B 是一个拥有 30 亿参数的模型，专注于辅助代码任务。 无需专用 GPU 即可在笔记本电脑上本地运行，同时仍可提供与 Meta 的 CodeLLaMA 7B 等大型模型具有竞争力的性能。 2023 年底，Stability AI 便开始推动更小、更紧凑、更强大模型的发展，比如用于文本生成的 StableLM Zephyr 3B 模型。 随着 2024 年的到来，Stability AI 开年便马不停蹄的发布 2024 年第一个大型语言模型 Stable Code 3B，其实这个模型早在去年八月就发布了预览版 Stable Code Alpha
58210编辑于 2024-01-17 - 来自专栏后端云
5分钟本地部署史上最强开源大模型Llama3
几天前meta发布了史上最强开源大模型Llama3，要想免费使用Llama3，除了去官网 https://llama.meta.com/llama3/ 在线使用外，还可以本地部署。 本地部署有多种方式，常见的有如下3种方式： 1. github仓库clone后，https://github.com/meta-llama/llama3 安装python，pip相关的包，官网在线填写个人信息申请模型下载链接 LM-studio 3. ollama 其中以ollama部署最为便捷和友好，部署时间可在5分钟内完成。本篇就介绍ollama本地部署llama3模型。 step2：命令行执行ollama run llama3 （默认是下载8b的模型，若要下载70b的，执行 ollama run llama3:70b） Llama3的最小版本8B和70B已经全面领先其他竞争对手的开源大模型 除了通过图形化界面和Llama3聊天外，还可以自己编程调用Llama3 的rest api，自动化让AI完成很多本地工作。
9.6K10编辑于 2024-05-06 - 来自专栏python3
python3 导入本地 package
然后在终端中或者在 Jupyter notebook里面运行的时候，又会报错： ImportError:No module named XXX 参考问题描述Relative imports in Python 3.
78910发布于 2020-01-14 - 来自专栏程序那些事
MoneyPrinterPlus全面支持本地Ollama大模型
支持云厂商的原因是现在大模型使用基本都很便宜，并且大厂的稳定性，性能都比本地搭建要好很多。 但是很多小伙伴说还是希望接入本地的LLM模型。 你可以在Ollama中接入你想要使用的大模型。 下面告诉大家如何在MoneyPrinterPlus中使用本地的Ollama模型。 比较常用的像llama3,mistral, llama2-chinese等等。 我们可以使用 ollama list 来查看现有的模型。 如果要下载对应的模型，可以ollama pull llama3从Ollama的模型注册表中拉取指定的模型到本地。 然后使用 ollama run llama3 来运行对应的模型。 比如你用的是llama3,那么这里就填llama3就行了。 Ollama配置好之后，就可以进入AI视频区域： 在视频主题区输入你需要生成的视频主题，点击生成视频文案。
33410编辑于 2024-07-16 - 来自专栏微言码道
本地部署大模型的几种方式
比如Meta前两天开放的Lamma 3, Google的Gemma开源模型, 国内也有Qwen以及YI等. 无论私有的大模型, 还是开源的可私有化部署的大模型, 各有优缺点. 就算你是一个编程的门外汉, 都可以轻松的使用Ollama来部署一个本地大模型. 我在这里以最新的Llama 3来举例说明如何运行一个本地大模型. 只要你从Ollama的官网下载并安装了Ollama之后, 就可以极其方便的部署及运行一个大模型 # 拉取llama 3大模型 ollama pull llama3 # 运行 ollama run llama3 就算仅仅是个人使用, 如果你是M1或以上的芯片, 或有类似4090消费级显卡, 在本地运行一个llama 3 8B或Gemma 7B这样的开源模型, 是非常方便, 响应速度也比较快. 总结 开源大模型, 或者说本地化运行一个开源大模型, 现在已经越发的简单与低门槛了. 只要有足够的GPU硬件, 本地化部署与运行开源大模型非常简单及易于实现. 想部署一个本地大模型玩玩?
8.5K10编辑于 2024-04-23 - 来自专栏JAVA乐园
大模型系统dify本地源码启动
下载源码 git clone https://github.com/langgenius/dify.git 在启用业务服务之前，需要先部署 PostgreSQL / Redis / Weaviate（如果本地没有的话 下面是rocky linux安装Python 3.12的步骤 查看当前系统安装的Python版本 yum list python3 搜索Python 3.12 yum search python3.12 安装Python 3.12 yum install -y python3.12.x86_64 3. 访问 Dify 最后，访问 http://127.0.0.1:3000 即可使用本地部署的 Dify。 6. 总结 在安装、启动过程过程中会遇到不少确实依赖库的情况，多用以下命令进行依赖安装即可。
1.2K00编辑于 2025-03-17 - 来自专栏学海无涯
SwiftUI-MLX本地大模型开发
MLX 中的 MLXLLM 模块提供了一种简单的方法来在本地设备（iPhone/iPad/Mac）使用预训练的大语言模型 (LLMs) 进行推理。 使用步骤 添加 MLXLLM Package。 选择某个预训练模型。 加载选择的预训练模型。 创建输入（Prompt）。 进行推理。 案例 代码。 } extension ContentView { func generate() async throws { isLoading = true // 加载模型 （第一次使用会下载） let modelConfiguration = ModelRegistry.llama3_2_1B_4bit let modelContainer
58510编辑于 2025-02-19 - 来自专栏程序那些事
MoneyPrinterPlus全面支持本地Ollama大模型
支持云厂商的原因是现在大模型使用基本都很便宜，并且大厂的稳定性，性能都比本地搭建要好很多。 但是很多小伙伴说还是希望接入本地的LLM模型。 你可以在Ollama中接入你想要使用的大模型。 下面告诉大家如何在MoneyPrinterPlus中使用本地的Ollama模型。 比较常用的像llama3,mistral, llama2-chinese等等。 我们可以使用 ollama list 来查看现有的模型。 如果要下载对应的模型，可以ollama pull llama3从Ollama的模型注册表中拉取指定的模型到本地。 然后使用 ollama run llama3 来运行对应的模型。 比如你用的是llama3,那么这里就填llama3就行了。 Ollama配置好之后，就可以进入AI视频区域： 在视频主题区输入你需要生成的视频主题，点击生成视频文案。
40510编辑于 2024-07-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号