- 综合排序
- 最热优先
- 最新优先
- 来自专栏计算机图形学 前端可视化 WebGL
WebGL加载本地模型
我们的引擎，基于three封装，同样有加载模型的loader，因此加载obj和gltf模型也是很简单就可以实现的。 不过加载文件都是在线的文件，也就是通过url的形式进行加载。 团队开发的三维可视化平台框架，需要能够上传obj和gltf等格式的模型，在上传前，需要先对模型预览，这就涉及到如何加载本地模型的问题了。 加载本地模型 本文以gltf为例，进行说明。 加载本地模型的思路是这样的： 既然引擎可以通过url的机制，加载模型。 那么如果有一种机制，可以把本地文件及其关联的资源（比如贴图）等转换成url的形式，就可以进行使用loader进行访问了。 加载本地模型 有了上述基础知识，大致的思路就出来了： 首先 加载本地文件，读取file对象（可能是多个File对象，因为一个模型可能包括多个资源文件）。 除gltf模型外，其他格式的模型，比如fbx或者obj，也可以类似操作。
2.4K30编辑于 2022-05-11 - 来自专栏小新笔记坊
CentOS本地部署语言模型
2.在docker容器参数中编辑参数，映射容器内某目录（例如/home）至本地一个目录文件夹用于导入本地模型。 例如： /home/models /home/models /home/ollama /root/.ollama 3.进入docker容器内部导入模型即可。 安装OpenWebUi 1.拉取docker镜像后，导入本地镜像并运行容器。
58200编辑于 2025-02-13 - 来自专栏云技术与
ollama 离线安装本地模型
下载安装脚本install.sh 下载 https://ollama.com/install.sh，编辑如下 修改安装路径改成本地安装 #! /build_android.sh：/bin/sh^M：解释器错误: 没有那个文件或目录，执行 sed -i 's/\r$//' install.sh 6 下载运行模型 4c8g 的机器上，下载1.5b 的大小1.1G 的模型 3：47 开始 很慢 打开终端，输入以下命令下载并运行deepseek模型，例如下载1.5B 模型 ollama run deepseek-r1:1.5b pulling aabd4debf0c8 ，可以运行其他模型 ollama run deepseek-r1:7b ollama run deepseek-r1:14b ollama run deepseek-r1:32b DeepSeek本地化部署硬件配置要求一览表 ： 7 启动ollama 服务 ollama serve 服务启动后，可以通过访问 http://localhost:11434 来与模型进行交互 Ollama 启动默认只有127.0.0.1 本地可以访问
1.5K10编辑于 2025-10-31 - 来自专栏AllTests软件测试
本地部署AI大模型DeepSeek
官方网址： https://www.deepseek.com/ 本篇讲解如何快速的在本地部署AI大模型DeepSeek。 2、本地部署DeepSeek 1、首先要下载安装Ollama。 Ollama是一个开源的大型语言模型本地部署框架。 特点： 多平台支持，如Windows、macOS、Linux，还支持Docker，方便跨平台部署。 丰富的模型库，搜集了大量开源LLM模型，涵盖文本分析、图像处理等多种任务的模型。 功能： 模型管理，能方便地下载、更新、删除和列出各种语言模型。 本地运行，让用户可在本地设备上运行大型语言模型，无需网络连接也能使用部分功能。 官方网址： https://ollama.com/ 快速上手使用大语言模型。 在本地运行Llama 3.3、DeepSeek-R1、Phi-4、Mistral、Gemma 2等模型。 根据所属平台，下载指定的Ollama。
74610编辑于 2025-02-10 - 来自专栏leehao
采用Ollama运行本地大模型
Ollama Ollama， 羊驼，快速的在本地电脑上运行大模型，只需要下载一个应用包即可，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，无需安装额外的环境依赖和编译等操作。 模型的选择 在官网，点击models，按照 most popular进行排序，或者点击模型进行搜索。 国内比较好的模型，如glm4和qwen系列均可选择 注意：模型对内存和显卡有要求，根据电脑的实际配置选取模型。 比如，8G显存32G内存的配置，可以流程运行9B左右的模型，但运行大于32B以上的模型就比较吃力，推理速度很慢。 在推理的时候，显存使用率较高，如果模型较大，则推理速度较慢。8G显存在运行9B模型的时候，非常丝滑，在运行14B模型的时候，类似打字机一样，比较慢。
1.2K20编辑于 2025-02-11 用 LangChain 驱动本地 Ollama 模型
这篇文章，我们就来完整走一遍：如何使用 LangChain，基于最新 Runnable API，调用本地启动的 Ollama 模型，构建一个真正可用的本地大模型应用。 1️⃣ Ollama：本地大模型的“Docker”你可以把 Ollama 理解为：专门为大模型设计的一层运行时基础设施。 qwen3:8b如果可以正常对话，说明模型已经在本地成功运行。 Ollama → 本地大模型这条完整调用链。 / 超大模型❌ 面向公网的 C 端产品七、一些来自实践的工程建议最后分享几点真实踩坑后的经验：模型别贪大7B / 8B 是当前本地部署的性价比甜点位Prompt 比模型更重要本地模型对 Prompt 非常敏感
61210编辑于 2026-02-10- 来自专栏AI SPPECH
MCP Client 与 Ollama 本地模型
多模型管理支持：支持同时管理和使用多个本地模型 混合部署策略：结合本地模型和云端模型的优势 性能优化技术：通过量化、蒸馏等技术优化本地模型性能 可视化管理工具：提供本地模型的可视化管理和监控 这些趋势反映了本地模型集成从简单的 ：支持同时管理和使用多个本地模型 混合部署：支持本地模型与云端模型的混合使用 性能优化：内置本地模型的性能优化机制 隐私保护：确保数据不离开本地环境 理解 MCP Client 与 Ollama / 本地模型的集成方案 MCP v2.0 实现了本地模型的优化机制，提高了本地模型的运行效率和响应速度。 、列表、拉取和删除等操作 支持工具调用功能 提供了完整的错误处理机制 3.2.2 本地模型管理器实现 本地模型管理器负责管理本地模型的生命周期和状态。 **促进本地模型的普及**：简化本地模型的集成和使用，降低本地模型的使用门槛 2. **推动混合部署模式的发展**：结合本地模型和云端模型的优势，优化成本和性能 3.
36910编辑于 2026-01-07 - 来自专栏.Net Core技术分享
Ollama本地部署大模型总结
ollama run deepseek-r1:1.5b 下载完成后，ollama会为我们运行刚下载的大模型。下面是我运行成功的截图： 第三步：使用大模型 恭喜你已经在本地成功安装了第一个私有大模型。 和本地大模型对话 点击左侧新对话，开启新的对话。 向大模型提问试试吧 创建智能体 恭喜你已经完成了ollama和chatbox的集成，现在你的对话数据都保留在本地，绝对的安全和隐私。 运行起来后界面如下： 集成ollama中的本地模型 将cherryStudio运行起来后，点击界面左下角的小齿轮进行设置。 在内容生成API中，我们仅传入了prompt，大模型仅对我们本地的prompt进行回答，而在生成对话API中，我们还可以传入messages参数，包含我们多轮对话内容，使大模型具备记忆功能。 这些API的列表如下： 模型创建（/api/create） 列出本地模型（/api/tags） 查看模型信息（/api/show） 复制模型（/api/copy） 删除模型（/api/delete） 拉取模型
4.5K11编辑于 2025-03-30 - 来自专栏程序那些事
MoneyPrinterPlus全面支持本地Ollama大模型
支持云厂商的原因是现在大模型使用基本都很便宜，并且大厂的稳定性，性能都比本地搭建要好很多。 但是很多小伙伴说还是希望接入本地的LLM模型。 你可以在Ollama中接入你想要使用的大模型。 下面告诉大家如何在MoneyPrinterPlus中使用本地的Ollama模型。 Ollama支持很多models，我们可以在他的 https://ollama.com/library 网站中查找需要的模型。 我们可以使用 ollama list 来查看现有的模型。 如果要下载对应的模型，可以ollama pull llama3从Ollama的模型注册表中拉取指定的模型到本地。 如果你的ollama在本地，就填：http://localhost:11434/ 如果是在其他远程的机子上，就填：http://IP:11434/ 需要注意的是，Ollama默认只会暴露端口给本机连接。
31910编辑于 2024-07-16 - 来自专栏微言码道
本地部署大模型的几种方式
相较于其它一些方式, 有一定的编程或技术上的门槛, Ollama可以说是把本地部署大模型这个以前有点技术含量或难度的事情完全傻瓜化了. 就算你是一个编程的门外汉, 都可以轻松的使用Ollama来部署一个本地大模型. 我在这里以最新的Llama 3来举例说明如何运行一个本地大模型. 如果仅仅是要部署一个本地大模型, 没有比Ollama更简单方便的方式了. VLLM Vllm是一个python类库, 在知道与了解Ollama之前, 最开始我都是基于VLLM来部署类似的开源大模型. 它简单易于操作, 你只需要在UI上点击操作, 就能下载运行一个本地模型. 当然, 这个工具更多的是面向个人使用的. 如果你想一个可以在本地运行聊天的软件, 这个软件是你可以考虑的好工具. 总结 开源大模型, 或者说本地化运行一个开源大模型, 现在已经越发的简单与低门槛了. 只要有足够的GPU硬件, 本地化部署与运行开源大模型非常简单及易于实现. 想部署一个本地大模型玩玩?
8.4K10编辑于 2024-04-23 - 来自专栏JAVA乐园
大模型系统dify本地源码启动
下载源码 git clone https://github.com/langgenius/dify.git 在启用业务服务之前，需要先部署 PostgreSQL / Redis / Weaviate（如果本地没有的话 访问 Dify 最后，访问 http://127.0.0.1:3000 即可使用本地部署的 Dify。 6. 总结 在安装、启动过程过程中会遇到不少确实依赖库的情况，多用以下命令进行依赖安装即可。
1.2K00编辑于 2025-03-17 - 来自专栏学海无涯
SwiftUI-MLX本地大模型开发
MLX 中的 MLXLLM 模块提供了一种简单的方法来在本地设备（iPhone/iPad/Mac）使用预训练的大语言模型 (LLMs) 进行推理。 使用步骤 添加 MLXLLM Package。 选择某个预训练模型。 加载选择的预训练模型。 创建输入（Prompt）。 进行推理。 案例 代码。 } extension ContentView { func generate() async throws { isLoading = true // 加载模型
54010编辑于 2025-02-19 - 来自专栏程序那些事
MoneyPrinterPlus全面支持本地Ollama大模型
支持云厂商的原因是现在大模型使用基本都很便宜，并且大厂的稳定性，性能都比本地搭建要好很多。 但是很多小伙伴说还是希望接入本地的LLM模型。 你可以在Ollama中接入你想要使用的大模型。 下面告诉大家如何在MoneyPrinterPlus中使用本地的Ollama模型。 Ollama支持很多models，我们可以在他的 https://ollama.com/library 网站中查找需要的模型。 我们可以使用 ollama list 来查看现有的模型。 如果要下载对应的模型，可以ollama pull llama3从Ollama的模型注册表中拉取指定的模型到本地。 如果你的ollama在本地，就填：http://localhost:11434/ 如果是在其他远程的机子上，就填：http://IP:11434/ 需要注意的是，Ollama默认只会暴露端口给本机连接。
39410编辑于 2024-07-15 - 来自专栏Python与算法之美
Ollama 本地CPU部署开源大模型
Ollama可以在本地CPU非常方便地部署许多开源的大模型。 如 Facebook的llama3, 谷歌的gemma, 微软的phi3，阿里的qwen2 等模型。 完整支持的模型列表可以参考：https://ollama.com/library 它基于llama.cpp实现，本地CPU推理效率非常高（当然如果有GPU的话，推理效率会更高）, 还可以兼容 openai ollama run qwen2 #跑qwen2模型，如果本地没有，会先下载 ollama pull llama3 #下载llama3模型到本地 ollama list #查看本地有哪些模型可用 ollama rm #删除本地的某个模型 ollama help #获取帮助 ! import OpenAI client = OpenAI( base_url='http://localhost:11434/v1/', api_key='ollama', #实际上本地模型不需要
3.6K11编辑于 2024-06-26 - 来自专栏python机器学习教程
Ollama+GGUF离线加载本地模型
上的GGUF文件，在Ollama仓库里的模型都可以在Huggingface上找到，因此我们可以使用Ollama+GGUF文件离线加载模型。 一、获取GGUF模型文件 GGUF文件是大模型训练的结果文件，在Huggingface上有官方或个人上传，我们可以登录到Huggingface进行搜索，例如搜索Qwen2，可以在Files and versions 栏看到许多版本的gguf文件，它们大小不同，说明对应的模型效果也不同，一般会在README.md中有对各个版本的解释。 /your-model-path.gguf 比如我放在了同一个文件夹内，写成下面这样即可 三、Ollama创建模型 进行完上面的配置，就可以再Ollama中创建本地模型了，可以打开终端运行下面命令 Ollama list 四、Ollama运行模型 创建模型成功后就可以在运行起来了 ollama run model-name
14.6K10编辑于 2024-07-31 - 来自专栏陈冠男的游戏人生
使用ollama本地部署开源大模型
chatGPT 刚出来没多久的时候，openai 时不时的限制使用频率，当时我想要是能本地部署一个大模型，无限制的使用该多好哇。 ，下载甚至不需要挂代理，很舒适： 等模型下载结束后会自动进入命令行的交互模式，此时就已经部署结束了 可以在：https://ollama.com/library 找到更多的模型 但是在命令行中直接交互里很多格式解析不出来 /chatbot-ollama 这个项目部署起来也很简单，只要电脑上装有 npm（直接安装 nodejs，会附带安装 npm），然后下载 chatbot-ollama 项目到本地，在文件夹中依次执行这两条命令即可 此外，你还可以配合翻译插件进行本地AI翻译，openai-translator 这个项目原本是使用在线模型的 API 进行翻译的，但目前也支持了 ollama，项目地址： https://github.com /openai-translator/openai-translator 直接去 release 下载安装包后运行，在设置中选择本地大模型，并选择 API 模型为你已经下载好的本地模型保存即可 使用效果
3K20编辑于 2024-03-05 - 来自专栏Java Tale
搭建本地大模型之LM Studio
之前分享了 Ollama 这次分享一下 另一款本地运行大模型的工具LM Studio 什么是 LM Studio？ LM Studio 是一款用于在您的电脑上开发和实验LLMs的桌面应用程序。 关键功能 桌面应用程序，用于运行本地 LLMs 一个熟悉的聊天界面 搜索和下载功能（通过 Hugging Face ） 一个可以监听类似 OpenAI 端点的本地服务器 本地模型和配置管理系统 系统要求 设置中文 右下角设置 设置模型目录 模型目录最好不要有中文特殊符号,最好是英文字母 下载模型 如果可以访问国外网站 镜像网站下载 https://hf-mirror.com/ 下载gguf模型放到前面设置的模型目录里面 模型挑选 模型文件大小小于自己显存大小,但接近显存大小的效果肯定越好 GGUF模型 GGUF，全称 GPT-Generated Unified Format，是一种新型的文件格式专门用于存储和交换大型机器学习模型的数据 *量化是指将模型中的高精度数字转换为低精度数字，以减少模型的存储空间和计算需求。
16.8K12编辑于 2024-12-11 - 来自专栏周拱壹卒
使用 Arthur Bench 评估本地领域模型
使用 Arthur Bench 评估本地领域模型 本文采用 LLM 自我评估的方式，使用本地 LLM 同时作为领域模型和评估模型，基于 qa_correctness 评分方法打分，整体流程如下： 将准备好的领域知识问题通过 LangChain 输入给本地领域大模型，获得大模型的回复； 将领域大模型回复的内容，与准备好的标准答案，以提示词形式输入给本地评估大模型，将领域大模型的回答内容分类为正确、错误、不确定三类； 通过评分方法 None/g' \ /usr/local/lib/python3.10/site-packages/arthur_bench/scoring/summary_quality.py 使测试套件可使用本地评估模型重复执行 本文示例中，评分方法使用的是 qa_correctness，并且将评估模型也替换成了本地的 LLM。 /bench_runs/<test_suite_name> 下的 suite.json，将其中 scoring_method 的 "config": {} 修改为需要用来执行评估的本地模型，如： "config
46110编辑于 2024-09-17 - 来自专栏AI技术应用
AI大模型本地化部署
AI大模型本地化部署是将大规模人工智能模型（如GPT、LLaMA、DeepSeek等）部署到本地服务器或设备上，以满足数据隐私、安全性和性能需求的过程。 以下是AI大模型本地化部署的关键步骤、技术难点及解决方案。一、本地化部署的关键步骤1.需求分析与规划 明确应用场景（如智能客服、文本生成、图像识别等）。评估本地硬件资源（GPU、内存、存储）和预算。 5.模型部署使用推理框架（如ONNX、TensorRT）优化模型推理性能。部署模型到本地服务器或边缘设备，提供API接口供调用。6.监控与维护持续监控模型性能和硬件状态。定期更新模型以保持最佳性能。 性能优化：本地部署可提供更低延迟和更高吞吐量。自主控制：用户可完全控制模型运行环境和更新策略。四、实际应用案例政务领域：长春市部署DeepSeek-R1模型，用于智能客服、政策直达等场景。 通过以上步骤和解决方案，AI大模型本地化部署可以更好地满足行业需求，推动AI技术的广泛应用。
3.8K10编辑于 2025-03-08 - 来自专栏LinkinStar's Blog
尝试 Google Gemma 模型 MacOS 本地部署
所以我本地部署了一个 7b 的版本来尝试使用一下看看效果。同时也来说明一些有关大模型本地部署使用的一些个人体会，比如，你可能会有以下问题： 怎么本地部署使用？ 我本地的电脑能不能跑？ 本地跑的效果到底怎么样？ 首先，我想敲醒你沉睡的脑子。对于本地部署模型，你先要问清楚自己想要的是什么？也就是为什么需要本地部署，如果仅仅是想跑着玩，那没问题。 16G 的，7b 够用，其他模型的 13b 也能跑但显然会慢一些，具体就看你 CPU 的能力了。 32G 建议跑 33b 的，当然也要当前模型有 64G 可以尝试跑 70b 的 有大显存显卡的用户肯定会更吃的开一点，但我要说的重点其实是在后面 效果如何 能用！但又不完全能用。 测试方面 我不像很多 AI 模型的专业测试一样去测试各种疑难杂症，或者是测试各种幻觉问题或者是违法问题。我就是平常人最普通使用，哪里来那么多破事情呢？
1.1K10编辑于 2024-03-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号