首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏养虾记

    OpenClaw 接入本地 Ollama

    1.概述本手册介绍如何在OpenClaw中配置本地Ollama服务。Ollama是一个开源的本地大语言模型运行框架,支持在本地机器上运行多种开源模型,如Llama、DeepSeek、Qwen等。 ,Ollama服务会自动启动。 根据您的硬件配置选择合适的模型:提示:模型大小影响显存/内存占用,请根据机器配置选择:8GB内存:推荐使用7B参数模型16GB内存:可以使用13B参数模型32GB+内存:可以使用更大模型或同时运行多个模型以下是推荐的模型 ollamapulldeepseek-coder:6.7b#CodeLlama-Meta的开源代码模型$ollamapullcodellama:7b#Llama3-Meta的通用大模型$ollamapullllama3:8b 列表中,选择Ollama

    3.6K40编辑于 2026-03-31
  • 来自专栏AI 新手村

    Claude Code 完美接入 Ollama 指南

    但随着Ollama宣布兼容AnthropicMessagesAPI,我们现在可以轻松地将ClaudeCode与本地模型集成。 操作步骤1.安装ClaudeCode和Ollama展开代码语言:TXTAI代码解释npminstall-g@anthropic-ai/claude-code@latestOllama可以通过官网https ://ollama.com/下载安装包安装。 注意:Ollama版本v0.14.0+,ClaudeCode版本v2.1.12+,可以通过下面命令验证展开代码语言:BashAI代码解释claude--versionollama--versionOllama 2.下载大模型可以通过Ollama的WebUI页面直接下载,如下图。也可以通过命令行快速拉取适合编码的模型。

    8.6K11编辑于 2026-01-22
  • 来自专栏AI 新手村

    Claude Code 完美接入 Ollama 指南

    操作步骤 1.安装 Claude Code 和 Ollama npm install -g @anthropic-ai/claude-code@latest Ollama 可以通过官网https:// ollama.com/下载安装包安装。 “注意:Ollama 版本v0.14.0+,Claude Code版本v2.1.12+,可以通过下面命令验证 claude --version ollama --version Ollama 安装后会自动作为后台服务运行 #查看本地模型 ollama list #下载新模型 ollama pull qwen2.5-coder:7b #删除模型 ollama rm qwen2.5-coder:7b #查看模型基本参数 ollama show qwen2.5-coder:7b 3.配置 Claude Code 连接本地 Ollama export ANTHROPIC_AUTH_TOKEN=ollama export

    12.7K12编辑于 2026-01-26
  • 来自专栏AIGC大模型应用

    三分钟让Dify接入Ollama部署的本地大模型!

    2 Dify 中接入 Ollama 2.1 添加模型 在 设置 > 模型供应商 > Ollama 添加模型: 填写 LLM 信息: 模型名称:以 ollama 返回的为准 $ ollama ls NAME Embedding 模型接入方式类似LLM,只需将模型类型改为Text Embedding: 2.2 使用 Ollama 模型 进入需要配置的 App 提示词编排页面,选择 Ollama 供应商下的 llava OLLAMA_HOST "0.0.0.0" 重启 Ollama 应用程序。 点击 OK / 应用保存 在一个新的终端窗口运行 ollama 咋在我的网络暴露 OllamaOllama 默认绑定 127.0.0.1 端口 11434。 通过 OLLAMA_HOST 环境变量更改绑定地址。 参考: Ollama Ollama FAQ

    7.1K11编辑于 2025-05-29
  • 来自专栏运维入门时间

    k8s快速接入skywalking

    本文主要适合新手运维在快速配置APM 全链路检测 ,并在k8s部署过程给出一定思路, 如果已经解决该问题 直接跳过该文章,本文编写的过程中 参考前同事(小黑龙)之前部署心得和体验。 本文主要为了如下几个部分 1、所需配置 2、搭建部署skywalking 3、k8s接入skywalking jar 4、访问测试 — 1 — 所需配置 软件 java 推荐使用 1.11以上 skywalking 不推荐使用mysql h2等等 系统 操作系统:centos 7.8 64 CPU:2C 内存:8G 硬盘 300G ESSD — 2 — 部署skywalking 部署JAVA wget https rc.d/rc.local vim /etc/rc.local /usr/local/apache-skywalking-apm-es7-8.6.0/bin/startup.sh start — 3 — k8s 接入skywalking jar 配置应用 1、将sw-agent 放入git项目中 参考 xxx-app这个项目,将sw-agent下载到这项目中 xxx-app/data下面 2、docker

    2.6K20编辑于 2022-05-29
  • 来自专栏JavaEdge

    三分钟让Dify接入Ollama部署的本地大模型!

    1 运行 Ollama 与 qwen2:0.5b 聊天 ollama run qwen2:0.5b 启动成功后,ollama 在本地 11434 端口启动了一个 API 服务,可通过 http://localhost 2 Dify 中接入 Ollama 2.1 添加模型 在 设置 > 模型供应商 > Ollama 添加模型: 填写 LLM 信息: 模型名称:以 ollama 返回的为准 $ ollama ls NAME Embedding 模型接入方式与 LLM 类似,只需将模型类型改为 Text Embedding 即可。 OLLAMA_HOST "0.0.0.0" 重启 Ollama 应用程序。 通过 OLLAMA_HOST 环境变量更改绑定地址。 参考: Ollama Ollama FAQ 本文已收录在Github,关注我,紧跟本系列专栏文章,咱们下篇再续!

    1.7K20编辑于 2025-06-01
  • 来自专栏机器学习与统计学

    Ollama,危?

    大家好,我是 Ai 学习的老章 Ollama 是咱们公众号的常客了,比较重要的几个功能升级我都写过文章介绍 Ollama 发布新 app,文档聊天,多模态支持,可在 macOS 和 Windows 上使用 Ollama 的新动作:大模型联网搜索 API、MCP 客户端集成 Ollama 可以启动云端大模型了,免费 Ollama 背后执行推理的核心技术其实是由 llama.cpp 承担的,GGUF 模型格式也是由 我使用的是 tw93 开发的 pake,一行命令即可,本地服务也可以打包成 app 然后它就将只能浏览器访问的 web 应用打包成 app 了 如此轻量舒服的应用,我与这位网友有相同的期待——支持其他模型的接入 总结来看,比之前想要挑战 ollama 的 Shimmy 要好很多,但是 Ollama 玩了这么久也不是吃素的 1、Ollama 有更加方便的 app,随时切换本地模型甚是方便 2、Ollama 还有免费云模型可以调用呢 ,企业就别折腾了,并发太差:不要再用 _Ollama_,不要再用 llama.cpp

    43610编辑于 2025-11-20
  • 来自专栏nginx

    Docker部署Ollama接入Llama 2模型通过前端交互界面向AI提问

    拉取相关的Docker镜像 运行Llama 2需要借助Ollama镜像,对语言模型进行交互需要用到Chatbot-Ollama前端界面,所以我们需要拉取这两个docker镜像,本例群晖版本由于无法直接在群晖控制面板 pull ollama/ollama:latest *拉取Chatbot-Ollama镜像命令 sudo docker pull ghcr.io/ivanfioravanti/chatbot-ollama 运行Ollama 镜像 选中镜像,点击运行进入配置界面,名称无需设置,默认即可,然后点击下一步 输入外部访问的端口,和容器内部端口一致,填写11434即可,然后点击下一步 然后点击完成即可运行ollama 命令界面,执行ollama run llama2命令,接着等待下载即可,最后出现success,表示下载运行Llama 2模型成功,下载完成后可以关闭掉窗口.这样ollama 容器启动,并运行Llama 8. 固定公网地址 由于以上使用Cpolar所创建的隧道使用的是随机公网地址,24小时内会随机变化,不利于长期远程访问。因此我们可以为其配置二级子域名,该地址为固定地址,不会随机变化。

    65210编辑于 2025-11-15
  • 来自专栏我在本科期间写的文章

    Windows环境安装Ollama接入llama2模型并通过MaxKB与AI远程对话

    前言 在本文中,我们将详细介绍如何在Windows环境中本地运行大语言模型框架Ollama,并下载大语言模型LLaMA2。 下载运行Ollama 进入Ollama Github 界面:https://github.com/ollama/ollama? 安装大语言模型 ollama安装完成后,下面进行下载运行大语言模型,本例采用llama2模型,当然还有其他模型,可以到github上面选择,命令窗口输入下面命令 ollama run llama2 然后等待安装完成即可 Ollama这个大语言模型框架,远程通信! 配置公网地址 点击左侧仪表盘的隧道管理——创建隧道,创建一个ollama的公网http地址隧道!

    1K10编辑于 2025-01-14
  • 来自专栏.Net Core技术分享

    Ollama系列05:Ollama API 使用指南

    本文是Ollama系列教程的第5篇,在前面的4篇内容中,给大家分享了如何再本地通过Ollama运行DeepSeek等大模型,演示了chatbox、CherryStudio等UI界面中集成Ollama的服务 在今天的分享中,我将分享如何通过API来调用ollama服务,通过整合ollama API,将AI能力集成到你的私有应用中,提升你的职场价值! Ollama API Ollama 提供了一套简单好用的接口,让开发者能通过API轻松使用大语言模型。 本篇内容将使用Postman作为请求工具,和开发语言无关。 参考内容 官方API文档:https://github.com/ollama/ollama/blob/main/docs/api.md 官方兼容OpenAI文档:https://github.com /ollama/ollama/blob/main/docs/openai.md

    4.5K21编辑于 2025-03-21
  • LLaMA3-8B-Instruct langchain 接入

    snapshot_download, AutoModel, AutoTokenizer import os model_dir = snapshot_download('LLM-Research/Meta-Llama-3-8B-Instruct /root/autodl-tmp', revision='master') 代码准备 为便捷构建 LLM 应用,我们需要基于本地部署的 LLaMA3_LLM,自定义一个 LLM 类,将 LLaMA3 接入到 import LLaMA3_LLM llm = LLaMA3_LLM(mode_name_or_path = "/root/autodl-tmp/LLM-Research/Meta-Llama-3-8B-Instruct

    36110编辑于 2025-07-21
  • Shimmy,超越ollama?

    /models/•或从其他来源获取模型文件(如Ollama模型目录)。 自动发现路径:•Shimmy默认扫描以下路径:◦~/.cache/huggingface/hub/(HuggingFace缓存)◦~/.ollama/models/(Ollama模型目录)◦.

    14810编辑于 2026-04-29
  • centos7 安装ollama 运行 ollama -v 报错解决

    问题在ollama官网上,找到了linux上安装ollama的命令后,复制到自己的虚拟机中,下载完ollama,运行 ollama serve,提示以下报错:ollama: /lib64/libm.so (required by ollama)ollama: /lib64/libstdc++.so.6: version `CXXABI_1.3.9' not found (required by ollama )ollama: /lib64/libstdc++.so.6: version `CXXABI_1.3.11' not found (required by ollama)ollama: /lib64/ gcc*mv /usr/bin/gcc /usr/bin/gcc-4.8.5ln -s /opt/rh/devtoolset-8/root/bin/gcc /usr/bin/gccmv /usr/bin bin/ && mv make make.bakln -sv /usr/local/make/bin/make /usr/bin/make3.解决 yum install -y devtoolset-8-

    3.4K11编辑于 2025-06-12
  • 来自专栏.Net Core技术分享

    Ollama系列06:C#使用OllamaSharp集成Ollama服务

    本文是Ollama系列教程的第6篇,主要介绍如何通过SDK将ollama集成到c#程序中。 Ollama 提供了HTTP API的访问,如果需要使用SDK集成到项目中,需要引用第三方库OllamaSharp,直接使用nuget进行安装即可。 功能亮点 简单易用:几行代码就能玩转Ollama 值得信赖:已为Semantic Kernal、.NET Aspire和Microsoft.Extensions.AI提供支持 全接口覆盖:支持所有Ollama = new OllamaApiClient(uri); 获取模型列表 // list models var models = await ollama.ListLocalModelsAsync(); var chat = new Chat(ollama); Console.WriteLine(); Console.WriteLine($"Chat with {ollama.SelectedModel

    92710编辑于 2025-03-26
  • ollama指定目录安装

    ollama安装时候不能选择安装路径,只能默认安装C盘大概需要5GB空间,面对C盘没有多少的用户就很难装上去。 windows默认安装在C盘,不支持修改程序安装目录,可以在Windows终端中输入以下命令来自定义安装路径 在OllamaSetup.exe安装包文件路径下打开终端 D:\Ollama为安装的目标路径 OllamaSetup.exe /DIR="D:\Ollama" 自定义模型储存路径 在用户环境变量中添加一个OLLAM_MODELS环境变量来定义模型的储存位置

    3.2K00编辑于 2025-07-16
  • 来自专栏无敌码农

    k8s微服务接入SkyWalking,怎么玩?

    今天要给大家分享是我们日常工作中最常见的一种场景,那就是部署在k8s环境下的Java微服务,要接入SkyWalking的具体玩法,通过这个过程咱们可以更深入的理解SkyWalking进行数据采集的逻辑, 也能更深刻地从运维角度理解日常工作中所写的Java微服务被无侵入的方式接入分布式链路追踪系统的过程! Java微服务接入SkyWalking可以使用“SkyWalking Java Agent”来上报监控数据。 、并接入SkyWalking服务。 ,而接下来在k8s部署文件中的将演示,为什么要将这种方式称之为SideCar。

    2.1K20发布于 2021-03-10
  • 来自专栏AI进修生

    Ollama 升级!支持一键拉取Huggingface上所有的模型,太方便了!(vLLM、Fastgpt、Dify、多卡推理)

    -3.2-1B-Instruct-GGUF:Q8_0 就是这样! 我会继续介绍VLLM和Ollama的单节点多卡推理,哦,还有Huggface、modelscope模型下载,然后简单过过Dify、FastGPT的模型接入,相关嵌入、重排模型部署、Llama.cpp使用 单节点多卡推理 Ollama在多卡运行大一点的,比如32B、72B这些模型的时候太慢了,它适合单人AI问答,不太适合提供生产服务,或是接入生产工作流,而Vllm适合后者,它是一个主流的LLM加速框架之一 FastGPT使用Oneapi接入模型,配置各种模型都挺方便的,以前有写过: Kimi+Langchain+FastGPT:文档转LLM微调数据集 / QA问答对生成、Kimi 128KAPI免费接入 Dfiy就简单讲讲: 1、Ollama接入 2、用的比较多的肯定是OpenAl-API-compatible,即OpenAI兼容格式,比如Vllm就需要用这个接入,OpenAl-API-compatible

    23.1K12编辑于 2024-12-02
  • 来自专栏【腾讯云开发者】

    彻底疯狂!基于DeepSeek打造集代码补全、问答搜索为一体的超级应用,免费!

    也可接入本地 Ollama 部署的 Deepseek 大模型,结合腾讯云AI代码助手和 DeepSeek ,开发者可实现更加强大、高效、安全的 AI 编程体验。 当然,还有如下一种办法,用户通过本地 Ollama 部署 DeepSeek R1 接入,本地部署无任何网络等限制,能部署启动即可使用! 03、方法二:通过用户本地部署的 Ollama + DeepSeek R1 进行配置接入 以 Mac 为例,部署 DeepSeek 对电脑硬件也有一定要求,以下为DeepSeek R1 在 Mac 上的配置要求 R1 ollama run deepseek-r1:1.5b # 7B DeepSeek R1 ollama run deepseek-r1:7b # 8B Llama DeepSeek R1 ollama run deepseek-r1:8b # 14B DeepSeek R1 ollama run deepseek-r1:14b # 32B DeepSeek R1 ollama run

    1.1K00编辑于 2025-02-14
  • 腾讯云 AI 代码助手支持 DeepSeek R1 接入 !好用免费!

    也可接入本地 Ollama 部署的 Deepseek 大模型,结合腾讯云AI代码助手和 DeepSeek ,开发者可实现更加强大、高效、安全的 AI 编程体验。 当然,还有如下一种办法,用户通过本地 Ollama 部署 DeepSeek R1 接入,本地部署无任何网络等限制,能部署启动即可使用! 方法二:通过用户本地部署的 Ollama + DeepSeek R1 进行配置接入 以 Mac 为例,部署 DeepSeek 对电脑硬件也有一定要求,以下为DeepSeek R1 在 Mac 上的配置要求 R1ollama run deepseek-r1:1.5b # 7B DeepSeek R1ollama run deepseek-r1:7b # 8B Llama DeepSeek R1ollama run deepseek-r1:8b # 14B DeepSeek R1ollama run deepseek-r1:14b # 32B DeepSeek R1ollama run deepseek-r1

    5.4K41编辑于 2025-02-10
  • ollama安装初体验

    GPU(可选但推荐):NVIDIA GPU 配备至少8GB显存,用于加速模型推理过程。推荐使用具有16GB或以上显存的专业级GPU。 Ollama配置服务端口 编辑环境变量 配置端口 变量名称:OLLAMA_HOST 值: 0.0.0.0:8080 配置大模型本地存储路径 变量名称:OLLAMA_MODELS 值:D:\ollama \models 访问端口允许跨域 变量名称:OLLAMA_ORIGINS 值:* 配置环境变量后重启Ollama 常见ollama 属性设置   我们在平时使用ollama过程中会遇到不少问题,比如模型镜像加载在 模型操作命令 ollama serve:启动 Ollama 服务,是后续操作的基础。 ollama create:从模型文件创建模型,适用于自定义模型或本地已有模型文件的情况。 ollama list:列出本地已有的模型,方便管理和选择。 ollama cp:复制模型,可用于备份或创建模型副本。 ollama rm:删除模型,释放存储空间。

    1.2K10编辑于 2025-07-16
领券