- 综合排序
- 最热优先
- 最新优先
- 来自专栏计算机图形学 前端可视化 WebGL
WebGL加载本地模型
我们的引擎，基于three封装，同样有加载模型的loader，因此加载obj和gltf模型也是很简单就可以实现的。 不过加载文件都是在线的文件，也就是通过url的形式进行加载。 团队开发的三维可视化平台框架，需要能够上传obj和gltf等格式的模型，在上传前，需要先对模型预览，这就涉及到如何加载本地模型的问题了。 加载本地模型 本文以gltf为例，进行说明。 加载本地模型的思路是这样的： 既然引擎可以通过url的机制，加载模型。 那么如果有一种机制，可以把本地文件及其关联的资源（比如贴图）等转换成url的形式，就可以进行使用loader进行访问了。 加载本地模型 有了上述基础知识，大致的思路就出来了： 首先 加载本地文件，读取file对象（可能是多个File对象，因为一个模型可能包括多个资源文件）。 除gltf模型外，其他格式的模型，比如fbx或者obj，也可以类似操作。
2.4K30编辑于 2022-05-11 - 来自专栏小新笔记坊
CentOS本地部署语言模型
rpm sudo yum clean all sudo yum -y install cuda-toolkit-12-4 4.验证是否安装成功。 /usr/bin/ollama serve 4.在/etc/systemd/system/ollama.service新建服务文件。 2.在docker容器参数中编辑参数，映射容器内某目录（例如/home）至本地一个目录文件夹用于导入本地模型。 例如： /home/models /home/models /home/ollama /root/.ollama 3.进入docker容器内部导入模型即可。 安装OpenWebUi 1.拉取docker镜像后，导入本地镜像并运行容器。
62300编辑于 2025-02-13 - 来自专栏云技术与
ollama 离线安装本地模型
下载安装脚本install.sh 下载 https://ollama.com/install.sh，编辑如下 修改安装路径改成本地安装 #! /build_android.sh：/bin/sh^M：解释器错误: 没有那个文件或目录，执行 sed -i 's/\r$//' install.sh 6 下载运行模型 4c8g 的机器上，下载1.5b 的大小1.1G 的模型 3：47 开始 很慢 打开终端，输入以下命令下载并运行deepseek模型，例如下载1.5B 模型 ollama run deepseek-r1:1.5b pulling aabd4debf0c8 ¨Š¨€¨€¨€¨€¨€¨€¨€¨€¨€¨€¨€¨€¨€ ¨‡ 161 MB/1.1 GB 42 pulling manifest 如果本地硬件配置允许的话，可以运行其他模型 ollama run deepseek-r1 serve 服务启动后，可以通过访问 http://localhost:11434 来与模型进行交互 Ollama 启动默认只有127.0.0.1 本地可以访问，外部要可以访问需要修改ollama 服务文件重启
1.7K10编辑于 2025-10-31 - 来自专栏技术人生黄勇
ChatGLM-4-9b-chat本地化｜天翼云GPU上vLLM本地部署开源模型完整攻略
“ 拥有一个私有化的领先国产开源大模型？本文详细介绍了如何在天翼云GPU上使用vLLM部署ChatGLM-4-9b-chat本地化模型的完整攻略，助您快速上手。” 01—vLLM 本来打算用ollama在GPU服务器上部署开源模型GLM4，在之前文章有部署教程：《普通电脑也能跑大模型，三步搞定私人AI助手 | LLaMA-3本地部署小白攻略》。 03—启动 映射模型文件方式启动容器，模型文件存放位置： /home/GLM-4 。 stop_reason":151336}],"usage":{"prompt_tokens":15,"total_tokens":26,"completion_tokens":11}} 至此，我们得到了一个本地部署国内领先的开源大模型 GLM4。
2.6K10编辑于 2024-08-19 Mac Studio M4 通过 vLLM 部署本地大模型，对接 Jeecg-AI
可尝试内存估算规则： 4bit 量化模型的内存占用 ≈ 参数量 × 0.5 字节 + KV Cache。 6.1 手动下载模型（可选）如果希望先下载模型再启动（方便断点续传）：# 安装下载工具pip install huggingface_hub# 下载模型到本地目录huggingface-cli download /Qwen2.5-72B-Instruct-4bit \ --port 8000 \ --host 0.0.0.0# 方式二：本地模型（已手动下载）vllm serve ~/models/Qwen2.5 指定服务端口--host 0.0.0.0 允许局域网内其他设备访问，如果只在本机使用可省略首次启动时会自动下载模型，72B-4bit 模型约 42GB，请耐心等待。 Max 128GB 是本地部署大模型的绝佳设备。
1.8K10编辑于 2026-03-12- 来自专栏AllTests软件测试
本地部署AI大模型DeepSeek
官方网址： https://www.deepseek.com/ 本篇讲解如何快速的在本地部署AI大模型DeepSeek。 2、本地部署DeepSeek 1、首先要下载安装Ollama。 Ollama是一个开源的大型语言模型本地部署框架。 特点： 多平台支持，如Windows、macOS、Linux，还支持Docker，方便跨平台部署。 丰富的模型库，搜集了大量开源LLM模型，涵盖文本分析、图像处理等多种任务的模型。 功能： 模型管理，能方便地下载、更新、删除和列出各种语言模型。 本地运行，让用户可在本地设备上运行大型语言模型，无需网络连接也能使用部分功能。 官方网址： https://ollama.com/ 快速上手使用大语言模型。 在本地运行Llama 3.3、DeepSeek-R1、Phi-4、Mistral、Gemma 2等模型。 根据所属平台，下载指定的Ollama。
76910编辑于 2025-02-10 - 来自专栏leehao
采用Ollama运行本地大模型
Ollama Ollama， 羊驼，快速的在本地电脑上运行大模型，只需要下载一个应用包即可，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，无需安装额外的环境依赖和编译等操作。 模型的选择 在官网，点击models，按照 most popular进行排序，或者点击模型进行搜索。 国内比较好的模型，如glm4和qwen系列均可选择 注意：模型对内存和显卡有要求，根据电脑的实际配置选取模型。 运行 打开cmd，输入ollama run {模型名称}，如，运行glm4-9b，则执行 ollama run glm4:9b 如果之前没有下载该模型，那么系统会首先下载模型，下载后运行，其中下载速度还是很快的 在推理的时候，显存使用率较高，如果模型较大，则推理速度较慢。8G显存在运行9B模型的时候，非常丝滑，在运行14B模型的时候，类似打字机一样，比较慢。
1.3K20编辑于 2025-02-11 - 来自专栏东风微鸣技术博客
Cilium系列-4-Cilium本地路由
本地路由(Native-Routing) 本地路由数据路径在 tunnel: disabled 时启用，并启用本机数据包转发模式。 Native-Routing 在本地路由模式下，Cilium 会将所有未寻址到其他本地端点的数据包委托给 Linux 内核的路由子系统。这意味着，数据包的路由将如同本地进程发出数据包一样。 有关详细信息，请参阅 Google Cloud[3]、AWS ENI[4] 和 Azure IPAM[5]。 •ipv4-native-routing-cidr: x.x.x.x/y 设置可执行本地路由的 CIDR。 至此, 本地路由就已经启用了. 可以再次运行相关命令来检查. 由于增加了封装头，有效载荷可用的 MTU 要低于本地路由, 这导致特定网络连接的最大吞吐率降低。 启用本地路由(Native-Routing)可以避免这种情况, 但是启用对本地网络有一定要求.
1K20编辑于 2023-09-01 用 LangChain 驱动本地 Ollama 模型
这篇文章，我们就来完整走一遍：如何使用 LangChain，基于最新 Runnable API，调用本地启动的 Ollama 模型，构建一个真正可用的本地大模型应用。 qwen3:8b如果可以正常对话，说明模型已经在本地成功运行。 Ollama → 本地大模型这条完整调用链。 chain, get_session_history, input_messages_key="question", history_messages_key="history",)4️⃣ / 超大模型❌ 面向公网的 C 端产品七、一些来自实践的工程建议最后分享几点真实踩坑后的经验：模型别贪大7B / 8B 是当前本地部署的性价比甜点位Prompt 比模型更重要本地模型对 Prompt 非常敏感
76410编辑于 2026-02-10- 来自专栏用户1880875的专栏
本地运行 Kubernetes 的 4 种方法
在将任何东西推送到公共云之前，你可以将其设置为本地开发环境，从而实现开发环境和生产环境之间的分离。 kind 使用 Docker 容器“节点”运行本地 Kubernetes 集群。 CodeReady Containers（CRC）用来管理为测试和开发目的优化的本地 OpenShift 4.x 集群。 它是为测试 Kubernetes 而设计的，但也可能用于本地开发或持续集成。 CRC 将一个最小的 OpenShift 4.x 集群带到你的本地计算机上，为开发和测试目的提供一个最小的环境。CRC 主要针对开发者的桌面使用。
2.2K30发布于 2021-09-13 Docker本地部署Crawl4AI
之前本地部署的firecrawl无法正常运行了，于是今天来部署github另外一个高star的爬虫项目：Crawl4AI# Pull the release candidate (recommended for latest features)docker pull unclecode/crawl4ai:0.6.0-r1# Or pull the latest stable versiondocker pull unclecode/crawl4ai:latest如果要使用LLM，准备一个.llm.env文件# Create a .llm.env file with your API keyscat \ --shm-size=1g \ unclecode/crawl4ai:latestWith LLM support:# Make sure .llm.env is in the current \ unclecode/crawl4ai:latest配置部署成功http://10.213.151.220:11235
1.2K10编辑于 2025-06-13- 来自专栏AI SPPECH
MCP Client 与 Ollama 本地模型
新要素 4：模型量化与优化 支持模型量化（INT4、INT8） 提供模型蒸馏支持 支持模型缓存优化 新要素 5：异步模型调用 支持本地模型的异步调用 实现高效的并发模型访问 支持模型批处理 新要素 6： **标准化接口**：提供统一的 API 接口，简化本地模型集成 2. **多模型支持**：支持同时管理和使用多个本地模型 3. **混合部署**：原生支持本地模型与云端模型的混合使用 4. **可靠性设计**： - 实现本地模型故障时的回退策略 - 设计合理的重试机制 - 监控本地模型的运行状态 4. **模型兼容性**：不同本地模型的 API 接口和功能可能存在差异 2. **性能优化**：本地模型的性能优化仍需要进一步改进 3. **可视化管理**：本地模型的可视化管理工具仍需完善 4. **优化性能**：对本地模型进行量化和优化，提高运行效率 4. **实现可靠的回退机制**：设计合理的本地模型故障回退策略 5. **监控和管理**：实现本地模型的监控和管理，确保系统可靠性 6.
43710编辑于 2026-01-07 - 来自专栏.Net Core技术分享
Ollama本地部署大模型总结
ollama run deepseek-r1:1.5b 下载完成后，ollama会为我们运行刚下载的大模型。下面是我运行成功的截图： 第三步：使用大模型 恭喜你已经在本地成功安装了第一个私有大模型。 和本地大模型对话 点击左侧新对话，开启新的对话。 向大模型提问试试吧 创建智能体 恭喜你已经完成了ollama和chatbox的集成，现在你的对话数据都保留在本地，绝对的安全和隐私。 运行起来后界面如下： 集成ollama中的本地模型 将cherryStudio运行起来后，点击界面左下角的小齿轮进行设置。 在内容生成API中，我们仅传入了prompt，大模型仅对我们本地的prompt进行回答，而在生成对话API中，我们还可以传入messages参数，包含我们多轮对话内容，使大模型具备记忆功能。 这些API的列表如下： 模型创建（/api/create） 列出本地模型（/api/tags） 查看模型信息（/api/show） 复制模型（/api/copy） 删除模型（/api/delete） 拉取模型
4.7K11编辑于 2025-03-30 - 来自专栏运维开发王义杰
探索GPT4All：开源的本地大型语言模型生态系统
本文将对GPT4All进行全面介绍，包括它的特点、使用方式、最新更新和如何为该项目做出贡献。 项目概述 GPT4All是一个开源的大型语言模型，它允许在本地CPU和几乎任何GPU上运行。 这意味着用户可以在自己的设备上运行和定制这些模型，而无需依赖云服务。GPT4All模型文件的大小介于3GB到8GB之间，用户可以下载并插入到GPT4All的开源生态系统软件中。 最新更新 GPT4All定期发布更新以引入新功能和性能改进。一些最近的更新包括： GGUF支持的推出：支持Mistral 7b基础模型和多个新的本地代码模型。 GPT4All API的推出：允许从docker容器推断本地LLMs。 LocalDocs的稳定支持：一个GPT4All插件，允许用户私密地与自己的数据进行本地聊天。 结语 GPT4All提供了一个强大的工具，让用户和开发者能够在本地运行和定制大型语言模型。
1.5K10编辑于 2024-02-26 - 来自专栏服务器运维日常
从零开始：基于 ModelScope 本地部署 Qwen3-4B 大语言模型完全指南
本文档记录了使用魔搭社区 ModelScope 平台，从零开始在本地部署 Qwen3-4B 大语言模型的完整过程，包括环境配置、模型下载、加载运行以及遇到的问题和解决方案。 参数说明：--model Qwen/Qwen3-4B → 指定要下载的模型--local_dir . ✘️ CPU 版 PyTorch：只能用 CPU 计算，速度慢（加载模型可能需要几分钟）✓ CUDA 版 PyTorch：利用 GPU 并行计算，速度快几十倍（加载模型只需 4-5 秒）7.2 模型选择参考 到这里你已经掌握了基于 ModelScope 本地部署 Qwen3-4B 大语言模型的完整流程。 ：使用 ModelScope 命令行工具下载 Qwen3-4B 模型模型加载：在 Python 交互式环境中加载并测试模型问题解决：处理常见错误，如 CPU 版 PyTorch、输出不完整等实用工具：创建
2.7K22编辑于 2026-01-14 太能打了：小卡也能跑的视觉模型！Gemma 4 本地视觉实测，截图转HTML
引言 就在 4 月 2 日深夜，谷歌没有任何预热，突然“突袭式”发布了全新的 Gemma 4 系列开源大模型。 更多模型信息，请参考官方模型卡。 测试模型下载地址： https://www.modelscope.cn/models/unsloth/gemma-4-E4B-it-GGUF 3. 4.5 Gemma 4 的其他几个小模型 这里我也测试了 Gemma 4 的其他几个小模型（E2B、E4B），它们的视觉能力和速度表现都不如 26B A4B 版本，尤其是 E 系列的小模型，虽然支持音频输入 小模型欠缺的到底是什么 我们看到的设计效果只是表象，那么对于 Gemma 4 的小模型（E2B、E4B）来说，欠缺的到底是什么呢？ 总结 总的来说，Gemma 4 的视觉能力确实非常强大，尤其是 26B A4B 版本，在本地运行的情况下，能够实现非常高质量的视觉理解和代码生成。
57710编辑于 2026-04-14- 来自专栏程序那些事
MoneyPrinterPlus全面支持本地Ollama大模型
支持云厂商的原因是现在大模型使用基本都很便宜，并且大厂的稳定性，性能都比本地搭建要好很多。 但是很多小伙伴说还是希望接入本地的LLM模型。 你可以在Ollama中接入你想要使用的大模型。 下面告诉大家如何在MoneyPrinterPlus中使用本地的Ollama模型。 Ollama支持很多models，我们可以在他的 https://ollama.com/library 网站中查找需要的模型。 我们可以使用 ollama list 来查看现有的模型。 如果要下载对应的模型，可以ollama pull llama3从Ollama的模型注册表中拉取指定的模型到本地。 如果你的ollama在本地，就填：http://localhost:11434/ 如果是在其他远程的机子上，就填：http://IP:11434/ 需要注意的是，Ollama默认只会暴露端口给本机连接。
33410编辑于 2024-07-16 - 来自专栏JAVA乐园
大模型系统dify本地源码启动
下载源码 git clone https://github.com/langgenius/dify.git 在启用业务服务之前，需要先部署 PostgreSQL / Redis / Weaviate（如果本地没有的话 0.0.0.0 --port=5001 --debug 正确输出： 2025-03-12 06:15:07,607 INFO [utils.py:162] NumExpr defaulting to 4 ops_trace --loglevel INFO 正确输出： 2025-03-12 06:15:07,607 INFO [utils.py:162] NumExpr defaulting to 4 . 2025-03-12 06:15:32,683 INFO [pidbox.py:111] pidbox: Connected to redis://:**@localhost:6379/1. 4. 访问 Dify 最后，访问 http://127.0.0.1:3000 即可使用本地部署的 Dify。 6. 总结 在安装、启动过程过程中会遇到不少确实依赖库的情况，多用以下命令进行依赖安装即可。
1.2K00编辑于 2025-03-17 - 来自专栏微言码道
本地部署大模型的几种方式
相较于其它一些方式, 有一定的编程或技术上的门槛, Ollama可以说是把本地部署大模型这个以前有点技术含量或难度的事情完全傻瓜化了. 就算你是一个编程的门外汉, 都可以轻松的使用Ollama来部署一个本地大模型. 我在这里以最新的Llama 3来举例说明如何运行一个本地大模型. 如果仅仅是要部署一个本地大模型, 没有比Ollama更简单方便的方式了. VLLM Vllm是一个python类库, 在知道与了解Ollama之前, 最开始我都是基于VLLM来部署类似的开源大模型. 它简单易于操作, 你只需要在UI上点击操作, 就能下载运行一个本地模型. 当然, 这个工具更多的是面向个人使用的. 如果你想一个可以在本地运行聊天的软件, 这个软件是你可以考虑的好工具. 总结 开源大模型, 或者说本地化运行一个开源大模型, 现在已经越发的简单与低门槛了. 只要有足够的GPU硬件, 本地化部署与运行开源大模型非常简单及易于实现. 想部署一个本地大模型玩玩?
8.5K10编辑于 2024-04-23 - 来自专栏学海无涯
SwiftUI-MLX本地大模型开发
MLX 中的 MLXLLM 模块提供了一种简单的方法来在本地设备（iPhone/iPad/Mac）使用预训练的大语言模型 (LLMs) 进行推理。 使用步骤 添加 MLXLLM Package。 选择某个预训练模型。 加载选择的预训练模型。 创建输入（Prompt）。 进行推理。 案例 代码。 } extension ContentView { func generate() async throws { isLoading = true // 加载模型 （第一次使用会下载） let modelConfiguration = ModelRegistry.llama3_2_1B_4bit let modelContainer gray) Text(text) .font(.system(size: 16)) .lineSpacing(4)
58510编辑于 2025-02-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号