首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏计算机图形学 前端可视化 WebGL

    WebGL加载本地模型

    我们的引擎,基于three封装,同样有加载模型的loader,因此加载obj和gltf模型也是很简单就可以实现的。 不过加载文件都是在线的文件,也就是通过url的形式进行加载。 团队开发的三维可视化平台框架,需要能够上传obj和gltf等格式的模型,在上传前,需要先对模型预览,这就涉及到如何加载本地模型的问题了。 加载本地模型 本文以gltf为例,进行说明。 加载本地模型的思路是这样的: 既然引擎可以通过url的机制,加载模型。 那么如果有一种机制,可以把本地文件及其关联的资源(比如贴图)等转换成url的形式,就可以进行使用loader进行访问了。 加载本地模型 有了上述基础知识,大致的思路就出来了: 首先 加载本地文件,读取file对象(可能是多个File对象,因为一个模型可能包括多个资源文件)。 除gltf模型外,其他格式的模型,比如fbx或者obj,也可以类似操作。

    2.4K30编辑于 2022-05-11
  • 来自专栏小新笔记坊

    CentOS本地部署语言模型

    2.在docker容器参数中编辑参数,映射容器内某目录(例如/home)至本地一个目录文件夹用于导入本地模型。 例如: /home/models /home/models /home/ollama /root/.ollama 3.进入docker容器内部导入模型即可。 安装OpenWebUi 1.拉取docker镜像后,导入本地镜像并运行容器。

    62300编辑于 2025-02-13
  • 来自专栏云技术与

    ollama 离线安装本地模型

    下载安装脚本install.sh 下载 https://ollama.com/install.sh,编辑如下 修改安装路径改成本地安装 #! /build_android.sh:/bin/sh^M:解释器错误: 没有那个文件或目录,执行 sed -i 's/\r$//' install.sh 6 下载运行模型 4c8g 的机器上,下载1.5b 的大小1.1G 的模型 3:47 开始 很慢 打开终端,输入以下命令下载并运行deepseek模型,例如下载1.5B 模型 ollama run deepseek-r1:1.5b pulling aabd4debf0c8 ,可以运行其他模型 ollama run deepseek-r1:7b ollama run deepseek-r1:14b ollama run deepseek-r1:32b DeepSeek本地化部署硬件配置要求一览表 : 7 启动ollama 服务 ollama serve 服务启动后,可以通过访问 http://localhost:11434 来与模型进行交互 Ollama 启动默认只有127.0.0.1 本地可以访问

    1.7K10编辑于 2025-10-31
  • 来自专栏Android知识点总结

    SpringBoot-11-之从本地到线上

    一、本地:[注]现在对于已经有了服务器和域名(已备案)的你,可以继续阅读 1.打包项目为jar 打包项目 2.备份数据库 备份数据库:mysqldump -uroot -p密码 toly>toly.sql

    41820发布于 2018-09-26
  • 来自专栏AllTests软件测试

    本地部署AI大模型DeepSeek

    官方网址: https://www.deepseek.com/ 本篇讲解如何快速的在本地部署AI大模型DeepSeek。 2、本地部署DeepSeek 1、首先要下载安装Ollama。 Ollama是一个开源的大型语言模型本地部署框架。 特点: 多平台支持,如Windows、macOS、Linux,还支持Docker,方便跨平台部署。 丰富的模型库,搜集了大量开源LLM模型,涵盖文本分析、图像处理等多种任务的模型。 功能: 模型管理,能方便地下载、更新、删除和列出各种语言模型本地运行,让用户可在本地设备上运行大型语言模型,无需网络连接也能使用部分功能。 官方网址: https://ollama.com/ 快速上手使用大语言模型。 在本地运行Llama 3.3、DeepSeek-R1、Phi-4、Mistral、Gemma 2等模型。 根据所属平台,下载指定的Ollama。

    76910编辑于 2025-02-10
  • 来自专栏leehao

    采用Ollama运行本地模型

    Ollama Ollama, 羊驼,快速的在本地电脑上运行大模型,只需要下载一个应用包即可,通过简单的安装指令,可以让用户执行一条命令就在本地运行开源大型语言模型,无需安装额外的环境依赖和编译等操作。 模型的选择 在官网,点击models,按照 most popular进行排序,或者点击模型进行搜索。 国内比较好的模型,如glm4和qwen系列均可选择 注意:模型对内存和显卡有要求,根据电脑的实际配置选取模型。 比如,8G显存32G内存的配置,可以流程运行9B左右的模型,但运行大于32B以上的模型就比较吃力,推理速度很慢。 在推理的时候,显存使用率较高,如果模型较大,则推理速度较慢。8G显存在运行9B模型的时候,非常丝滑,在运行14B模型的时候,类似打字机一样,比较慢。

    1.3K20编辑于 2025-02-11
  • 来自专栏ClearSeve

    C++11内存模型

    最近看了极客时间——《现代C++实战三十讲》中的内存模型与Atomic一节,感觉对C++的内存模型理解还不是很清楚,看了后面的参考文献以及看了一些好的博客,算是基本了解了,根据参考文献整合一下。 Thread-1: Thread-2: x = 100; // A std::cout << x; // B C++11 C++11的内存模型共有6种,分四类。其中一致性的减弱会伴随着性能的增强。 参考链接 【1】C++11中的内存模型上篇 – 内存模型基础 【2】C++11中的内存模型下篇 – C++11支持的几种内存模型 【3】理解 C++ 的 Memory Order 【4】如何理解 C++ 11 的六种 memory order 【5】《现代C++实战三十讲》中的内存模型与Atomic

    1K30编辑于 2022-02-11
  • 用 LangChain 驱动本地 Ollama 模型

    这篇文章,我们就来完整走一遍:如何使用 LangChain,基于最新 Runnable API,调用本地启动的 Ollama 模型,构建一个真正可用的本地模型应用。 1️⃣ Ollama:本地模型的“Docker”你可以把 Ollama 理解为:专门为大模型设计的一层运行时基础设施。 qwen3:8b如果可以正常对话,说明模型已经在本地成功运行。 Ollama → 本地模型这条完整调用链。 / 超大模型❌ 面向公网的 C 端产品七、一些来自实践的工程建议最后分享几点真实踩坑后的经验:模型别贪大7B / 8B 是当前本地部署的性价比甜点位Prompt 比模型更重要本地模型对 Prompt 非常敏感

    76410编辑于 2026-02-10
  • 来自专栏AI SPPECH

    MCP Client 与 Ollama 本地模型

    模型管理支持:支持同时管理和使用多个本地模型 混合部署策略:结合本地模型和云端模型的优势 性能优化技术:通过量化、蒸馏等技术优化本地模型性能 可视化管理工具:提供本地模型的可视化管理和监控 这些趋势反映了本地模型集成从简单的 :支持同时管理和使用多个本地模型 混合部署:支持本地模型与云端模型的混合使用 性能优化:内置本地模型的性能优化机制 隐私保护:确保数据不离开本地环境 理解 MCP Client 与 Ollama / 本地模型的集成方案 MCP v2.0 实现了本地模型的优化机制,提高了本地模型的运行效率和响应速度。 best_model, tools=tools ) print(f"工具调用结果: {json.dumps(tool_result, indent=2, ensure_ascii=False)}") # 11 **促进本地模型的普及**:简化本地模型的集成和使用,降低本地模型的使用门槛 2. **推动混合部署模式的发展**:结合本地模型和云端模型的优势,优化成本和性能 3.

    43810编辑于 2026-01-07
  • 来自专栏.Net Core技术分享

    Ollama本地部署大模型总结

    ollama run deepseek-r1:1.5b 下载完成后,ollama会为我们运行刚下载的大模型。下面是我运行成功的截图: 第三步:使用大模型 恭喜你已经在本地成功安装了第一个私有大模型。 和本地模型对话 点击左侧新对话,开启新的对话。 向大模型提问试试吧 创建智能体 恭喜你已经完成了ollama和chatbox的集成,现在你的对话数据都保留在本地,绝对的安全和隐私。 运行起来后界面如下: 集成ollama中的本地模型 将cherryStudio运行起来后,点击界面左下角的小齿轮进行设置。 在内容生成API中,我们仅传入了prompt,大模型仅对我们本地的prompt进行回答,而在生成对话API中,我们还可以传入messages参数,包含我们多轮对话内容,使大模型具备记忆功能。 这些API的列表如下: 模型创建(/api/create) 列出本地模型(/api/tags) 查看模型信息(/api/show) 复制模型(/api/copy) 删除模型(/api/delete) 拉取模型

    4.7K11编辑于 2025-03-30
  • 来自专栏LINUX阅码场

    深入理解C11C++11内存模型

    个人认为,内存模型表达为“内存顺序模型”可能更加贴切一点。 2011年发布的C11/C++11 ISO Standard为我们带来了memory order的支持, 引用C++11里的一段描述: The memory model means that C++ code C11/C++11使用memory order来描述memory model, 而用来联系memory order的是atomic变量, atomic操作可以用load()和release()语义来描述 C11/C++11内存模型 C/C++11标准中提供了6种memory order,来描述内存模型[6]: enum memory_order { memory_order_relaxed, - Frank Birbacher [ACCU 2017] C++11中的内存模型下篇 - C++11支持的几种内存模型 memory ordering, Gavin's blog c++11 内存模型解读

    2.9K30发布于 2020-06-04
  • 来自专栏程序那些事

    MoneyPrinterPlus全面支持本地Ollama大模型

    支持云厂商的原因是现在大模型使用基本都很便宜,并且大厂的稳定性,性能都比本地搭建要好很多。 但是很多小伙伴说还是希望接入本地的LLM模型。 你可以在Ollama中接入你想要使用的大模型。 下面告诉大家如何在MoneyPrinterPlus中使用本地的Ollama模型。 Ollama支持很多models,我们可以在他的 https://ollama.com/library 网站中查找需要的模型。 我们可以使用 ollama list 来查看现有的模型。 如果要下载对应的模型,可以ollama pull llama3从Ollama的模型注册表中拉取指定的模型本地。 如果你的ollama在本地,就填:http://localhost:11434/ 如果是在其他远程的机子上,就填:http://IP:11434/ 需要注意的是,Ollama默认只会暴露端口给本机连接。

    33410编辑于 2024-07-16
  • 来自专栏微言码道

    本地部署大模型的几种方式

    相较于其它一些方式, 有一定的编程或技术上的门槛, Ollama可以说是把本地部署大模型这个以前有点技术含量或难度的事情完全傻瓜化了. 就算你是一个编程的门外汉, 都可以轻松的使用Ollama来部署一个本地模型. 我在这里以最新的Llama 3来举例说明如何运行一个本地模型. 如果仅仅是要部署一个本地模型, 没有比Ollama更简单方便的方式了. VLLM Vllm是一个python类库, 在知道与了解Ollama之前, 最开始我都是基于VLLM来部署类似的开源大模型. 它简单易于操作, 你只需要在UI上点击操作, 就能下载运行一个本地模型. 当然, 这个工具更多的是面向个人使用的. 如果你想一个可以在本地运行聊天的软件, 这个软件是你可以考虑的好工具. 总结 开源大模型, 或者说本地化运行一个开源大模型, 现在已经越发的简单与低门槛了. 只要有足够的GPU硬件, 本地化部署与运行开源大模型非常简单及易于实现. 想部署一个本地模型玩玩?

    8.5K10编辑于 2024-04-23
  • 来自专栏JAVA乐园

    模型系统dify本地源码启动

    下载源码 git clone https://github.com/langgenius/dify.git 在启用业务服务之前,需要先部署 PostgreSQL / Redis / Weaviate(如果本地没有的话 访问 Dify 最后,访问 http://127.0.0.1:3000 即可使用本地部署的 Dify。 6. 总结 在安装、启动过程过程中会遇到不少确实依赖库的情况,多用以下命令进行依赖安装即可。

    1.2K00编辑于 2025-03-17
  • 来自专栏学海无涯

    SwiftUI-MLX本地模型开发

    MLX 中的 MLXLLM 模块提供了一种简单的方法来在本地设备(iPhone/iPad/Mac)使用预训练的大语言模型 (LLMs) 进行推理。 使用步骤 添加 MLXLLM Package。 选择某个预训练模型。 加载选择的预训练模型。 创建输入(Prompt)。 进行推理。 案例 代码。 } extension ContentView { func generate() async throws { isLoading = true // 加载模型

    58510编辑于 2025-02-19
  • 来自专栏程序那些事

    MoneyPrinterPlus全面支持本地Ollama大模型

    支持云厂商的原因是现在大模型使用基本都很便宜,并且大厂的稳定性,性能都比本地搭建要好很多。 但是很多小伙伴说还是希望接入本地的LLM模型。 你可以在Ollama中接入你想要使用的大模型。 下面告诉大家如何在MoneyPrinterPlus中使用本地的Ollama模型。 Ollama支持很多models,我们可以在他的 https://ollama.com/library 网站中查找需要的模型。 我们可以使用 ollama list 来查看现有的模型。 如果要下载对应的模型,可以ollama pull llama3从Ollama的模型注册表中拉取指定的模型本地。 如果你的ollama在本地,就填:http://localhost:11434/ 如果是在其他远程的机子上,就填:http://IP:11434/ 需要注意的是,Ollama默认只会暴露端口给本机连接。

    40510编辑于 2024-07-15
  • 来自专栏Python与算法之美

    Ollama 本地CPU部署开源大模型

    Ollama可以在本地CPU非常方便地部署许多开源的大模型。 如 Facebook的llama3, 谷歌的gemma, 微软的phi3,阿里的qwen2 等模型。 完整支持的模型列表可以参考:https://ollama.com/library 它基于llama.cpp实现,本地CPU推理效率非常高(当然如果有GPU的话,推理效率会更高), 还可以兼容 openai ollama run qwen2 #跑qwen2模型,如果本地没有,会先下载 ollama pull llama3 #下载llama3模型本地 ollama list #查看本地有哪些模型可用 ollama rm #删除本地的某个模型 ollama help #获取帮助 ! import OpenAI client = OpenAI( base_url='http://localhost:11434/v1/', api_key='ollama', #实际上本地模型不需要

    3.7K11编辑于 2024-06-26
  • 来自专栏陈冠男的游戏人生

    使用ollama本地部署开源大模型

    chatGPT 刚出来没多久的时候,openai 时不时的限制使用频率,当时我想要是能本地部署一个大模型,无限制的使用该多好哇。 ,下载甚至不需要挂代理,很舒适: 等模型下载结束后会自动进入命令行的交互模式,此时就已经部署结束了 可以在:https://ollama.com/library 找到更多的模型 但是在命令行中直接交互里很多格式解析不出来 /chatbot-ollama 这个项目部署起来也很简单,只要电脑上装有 npm(直接安装 nodejs,会附带安装 npm),然后下载 chatbot-ollama 项目到本地,在文件夹中依次执行这两条命令即可 此外,你还可以配合翻译插件进行本地AI翻译,openai-translator 这个项目原本是使用在线模型的 API 进行翻译的,但目前也支持了 ollama,项目地址: https://github.com /openai-translator/openai-translator 直接去 release 下载安装包后运行,在设置中选择本地模型,并选择 API 模型为你已经下载好的本地模型保存即可 使用效果

    3K20编辑于 2024-03-05
  • 来自专栏python机器学习教程

    Ollama+GGUF离线加载本地模型

    上的GGUF文件,在Ollama仓库里的模型都可以在Huggingface上找到,因此我们可以使用Ollama+GGUF文件离线加载模型。 一、获取GGUF模型文件 GGUF文件是大模型训练的结果文件,在Huggingface上有官方或个人上传,我们可以登录到Huggingface进行搜索,例如搜索Qwen2,可以在Files and versions 栏看到许多版本的gguf文件,它们大小不同,说明对应的模型效果也不同,一般会在README.md中有对各个版本的解释。 /your-model-path.gguf 比如我放在了同一个文件夹内,写成下面这样即可 三、Ollama创建模型 进行完上面的配置,就可以再Ollama中创建本地模型了,可以打开终端运行下面命令 Ollama list 四、Ollama运行模型 创建模型成功后就可以在运行起来了 ollama run model-name

    15.5K10编辑于 2024-07-31
  • 来自专栏Java Tale

    搭建本地模型之LM Studio

    之前分享了 Ollama 这次分享一下 另一款本地运行大模型的工具LM Studio 什么是 LM Studio? LM Studio 是一款用于在您的电脑上开发和实验LLMs的桌面应用程序。 关键功能 桌面应用程序,用于运行本地 LLMs 一个熟悉的聊天界面 搜索和下载功能(通过 Hugging Face ) 一个可以监听类似 OpenAI 端点的本地服务器 本地模型和配置管理系统 系统要求 设置中文 右下角设置 设置模型目录 模型目录最好不要有中文特殊符号,最好是英文字母 下载模型 如果可以访问国外网站 镜像网站下载 https://hf-mirror.com/ 下载gguf模型放到前面设置的模型目录里面 模型挑选 模型文件大小小于自己显存大小,但接近显存大小的效果肯定越好 GGUF模型 GGUF,全称 GPT-Generated Unified Format,是一种新型的文件格式专门用于存储和交换大型机器学习模型的数据 *量化是指将模型中的高精度数字转换为低精度数字,以减少模型的存储空间和计算需求。

    17.4K12编辑于 2024-12-11
领券