- 综合排序
- 最热优先
- 最新优先
- 来自专栏轩辕镜像
LocalAI Docker 容器化部署指南
镜像准备拉取LocalAI镜像使用以下命令通过轩辕镜像访问支持地址拉取LOCALAI推荐版本镜像：展开代码语言：BashAI代码解释dockerpullxxx.xuanyuan.run/localai/ /localai/localai:master-aio-cpu的记录，则表示镜像准备完成。 /localai确认端口配置）-v/opt/localai/data:/app/data：挂载数据卷，持久化存储应用数据-v/opt/localai/models:/app/models：挂载模型存储目录 参考资源官方文档与镜像资源轩辕镜像-LocalAI文档https://xuanyuan.cloud/r/localai/localai：轩辕镜像的本地化部署文档LocalAI镜像标签列表https:// xuanyuan.cloud/r/localai/localai/tags：查看所有可用版本标签LocalAI项目GitHubhttps://github.com/go-skynet/LocalAI：项目源代码和官方文档
44910编辑于 2025-12-29 - 来自专栏张善友的专栏
Semantic Kernel 通过 LocalAI 集成本地模型
本文是基于 LLama 2是由Meta 开源的大语言模型，通过LocalAI 来集成LLama2 来演示Semantic kernel（简称SK） 和 本地大模型的集成示例。 我们使用MIT协议的开源项目“LocalAI“：https://github.com/go-skynet/LocalAI。 LocalAI 是一个本地推理框架，提供了 RESTFul API，与 OpenAI API 规范兼容。 LocalAI 使用 C++ 绑定来优化速度。 它基于用于音频转录的 llama.cpp、gpt4all、rwkv.cpp、ggml、whisper.cpp 和用于嵌入的 bert.cpp。 我们想使用Azure，OpenAI中使用Microsoft的AI模型，以及我们LocalAI 集成的本地大模型，我们可以将它们包含在我们的内核中。
1K10编辑于 2024-01-26 - 来自专栏云云众生s
如何通过开源项目 LocalAI 运行本地 LLM
LocalAI 是私有公司 Ollama 的替代品。 译自 How to Run a Local LLM via LocalAI, an Open Source Project，作者 David Eastman。 虽然 Ollama 是一家私营公司，但 LocalAI 是一个社区维护的开源项目。 从表面上看，它们各自为用户提供了一些略有不同的东西。 LocalAI并没有为用户提供一个真正的平台，这在错误出现时需要完全的开发者正确性来跟进反映出来。 当你深入研究在工作流程中放置模型时，LocalAI 将提供更透明的选项来使用——前提是错误处理更有效。
1.8K10编辑于 2024-04-08 - 来自专栏Elastic Stack专栏
如何在隔离环境中使用GPU加速的LocalAI进行文本嵌入
使用LocalAI，你可以做到这一点。LocalAI是一个免费且开源的推理服务器，与OpenAI API兼容。 LocalAI还支持GPU加速，因此你可以更快地计算嵌入。这篇文章将向你展示如何使用LocalAI计算数据的嵌入。 如何设置LocalAI来计算数据的嵌入第一步：使用docker-compose设置LocalAI要开始使用LocalAI，你需要在你的机器上安装Docker和docker-compose。 : image: localai/localai:latest-aio-gpu-nvidia-cuda-12 container_name: localai environment: 运行以下命令：docker logs localai应该能看到类似以下的信息：$ docker logs localai===> LocalAI All-in-One (AIO) container starting
75211编辑于 2025-02-07 - 来自专栏C++系列
本地AI新选择：LocalAI如何实现低成本硬件也能轻松训练AI大模型
为了应对这些问题，今天给大家推荐一款很不错的AI项目：LocalAI！这款开源工具可以在本地直接运行大语言模型（LLM）、生成图像和音频等。 【视频教程】 支持CPU推理运行的开源AI神器LocalAI本地安装与远程使用教程 1. -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12 更多项目配置与使用详情大家也可以访问作者的 github主页进行查看：https://github.com/mudler/LocalAI 2. 如图所示，现在就已经成功实现使用公网地址异地远程访问本地部署的LocalAI来用AI大模型聊天啦！
1.7K10编辑于 2025-02-14 - 来自专栏山行AI
LocalAI——一款可在消费级硬件上本地运行 LLMs的AI应用
LocalAI介绍 LocalAI 是一个符合 OpenAI API 规范的 REST API，用于本地推理。 使用docker-compose是运行LocalAI的最简单方法（如果要在本地构建，请参见构建LocalAI[79]）： git clone https://github.com/go-skynet/LocalAI git clone https://github.com/go-skynet/LocalAI cd LocalAI # （可选）检出特定的 LocalAI 标签 # git checkout -b 本地构建 要在本地构建 LocalAI 容器镜像，可以使用 docker： # 构建镜像 docker build -t localai . docker run localai 或者你可以使用 make : https://localai.io/basics/news/index.html [73] @LocalAI_API: https://twitter.com/LocalAI_API [74] @
10.2K30编辑于 2023-08-10 - 来自专栏AI SPPECH
2025年本地AI部署完全指南：从Ollama到vLLM的全方位实践教程
3.2 使用Docker部署LocalAI Docker是部署LocalAI的推荐方式，它能够简化安装过程并确保环境的一致性。 基本Docker部署 拉取LocalAI镜像 docker pull localai/localai:latest 创建必要的目录结构 mkdir -p models 启动LocalAI容器 docker /models:/models \ --name localai \ localai/localai:latest 这将启动LocalAI服务，并将其暴露在8080端口。 服务以加载新模型 docker restart localai 3.4 使用LocalAI API 由于LocalAI与OpenAI API完全兼容，你可以使用现有的OpenAI客户端库与LocalAI 服务 localai_monitor = ModelServiceMonitor( "localai", "docker start localai"
11.1K31编辑于 2025-11-16 - 来自专栏nginx
从配置到实战：LocalAI+cpolar实现本地AI训练与跨平台访问全过程
今天为您带来一套颠覆性的本地化部署方案——基于LocalAI的智能计算架构。这个开源项目能将普通PC升级为具备强大AI运算能力的终端设备，实现高效模型推理与多样化内容创作。 【视频教程】 支持CPU推理运行的开源AI神器LocalAI本地安装与远程使用教程 1. -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12 更多项目配置与使用详情大家也可以访问作者的 github主页进行查看：https://github.com/mudler/LocalAI 2. 如图所示，现在就已经成功实现使用公网地址异地远程访问本地部署的LocalAI来用AI大模型聊天啦！
37110编辑于 2025-11-16 - 来自专栏码匠的流水账
langchain4j+local-ai小试牛刀
The LocalAI API is now available at 127.0.0.1:8080. Install complete. LocalAI will run in CPU-only mode. 9:49AM INF LocalAI API is listening! 小结 LocalAI是OpenAI 的免费开源替代产品，提供了与 OpenAI 兼容的直接替代 REST API，可以在本地直接运行大语言模型LLM、生成图像、音频等。 langchain4j提供了langchain4j-local-ai用于集成local-ai. doc langchain4j local-ai localai.io
27610编辑于 2025-03-03 - 来自专栏码匠的流水账
langchain4j+local-ai小试牛刀
步骤curl安装curl https://localai.io/install.sh | sh % Total % Received % Xferd Average Speed Time The LocalAI API is now available at 127.0.0.1:8080. Install complete. from file envFile=/etc/localai.env9:49AM INF Setting logging to info9:49AM INF Starting LocalAI using 9:49AM INF LocalAI API is listening! 小结LocalAI是OpenAI 的免费开源替代产品，提供了与 OpenAI 兼容的直接替代 REST API，可以在本地直接运行大语言模型LLM、生成图像、音频等。
22600编辑于 2025-03-01 31.3K star！开源免费本地AI神器，一键部署多模态大模型！
LocalAI 是一款革命性的开源AI框架，专为本地化部署设计。 /localai:latest-aio-cpu# 调用OpenAI兼容APIcurl http://localhost:8080/v1/chat/completions \ -H "Content-Type q4_k_m", "messages": [{"role": "user", "content": "用Python写个快速排序"}] }'同类项目对比项目名称部署难度功能丰富度硬件要求社区生态LocalAI 兼容性活跃的开源社区（每月10+次版本更新）企业级功能：联邦学习/P2P网络应用场景实例案例1：智能文档助手from langchain_community.llms import LocalAIllm = LocalAI 特色：丰富插件生态局限：单任务解决方案Whisper-asr - 语音识别专家 特色：高精度语音转写局限：功能单一LangChain - AI应用开发框架 特色：工作流编排能力局限：依赖外部API总结LocalAI
2.1K10编辑于 2025-03-31- 来自专栏NLP/KG
LLM大模型部署实战指南：Ollama简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发
3.LocalAI 部署 LocalAI 是一个本地推理框架，提供了 RESTFul API，与 OpenAI API 规范兼容。 giuhub：https://github.com/mudler/LocalAI/tree/master 官网手册：https://localai.io/docs/getting-started/models / 官方快速部署手册案例：https://localai.io/docs/getting-started/models/ 首先拉取 LocalAI 代码仓库，并进入指定目录 git clone https ://github.com/go-skynet/LocalAI cd LocalAI/examples/langchain-chroma 下载demo LLM 和 Embedding 模型（仅供参考） LocalAI API 服务部署完毕，在 Dify 中使用接入模型 在 设置 > 模型供应商 > LocalAI 中填入： 模型 1：ggml-gpt4all-j - 模型类型：文本生成 - 模型名称：
2.8K11编辑于 2024-08-17 - 来自专栏山行AI
创建与任何事物聊天的私人ChatGPT-AnythingLLM
嵌入器和向量数据库 支持的LLM: •任何开源llama.cpp兼容模型[1]•OpenAI[2]•Azure OpenAI[3]•Anthropic ClaudeV2[4]•LM Studio (所有模型)[5]•LocalAi (所有模型)[6] 支持的嵌入模型: •AnythingLLM原生嵌入器[7]（默认）•OpenAI[8]•Azure OpenAI[9]•LM Studio (所有)[10]•LocalAi (所有 推荐使用方式 重要 如果你在localhost上运行其他服务，例如Chroma、LocalAi或LMStudio，你需要使用http://host.docker.internal:xxxx[19] 从Docker (所有模型): https://localai.io/ [7] AnythingLLM原生嵌入器: https://github.com/Mintplex-Labs/anything-llm/blob (所有): https://localai.io/ [12] LanceDB: https://github.com/lancedb/lancedb [13] Pinecone: https://pinecone.io
4.3K10编辑于 2023-12-19 大模型私有化部署工具比较
主要优点包括：灵活性：LocalAI支持多种操作系统和硬件，使得用户可以在不同的环境中部署模型。隐私保护：所有数据处理都在本地完成，不需要将数据上传到云端，这大大增强了数据安全。 然而，LocalAI也有一些缺点：资源需求：为了在本地运行大模型，需要较高的计算能力，这可能导致较大的初期投资。技术支持有限：相对于成熟的云服务平台，LocalAI的用户社区和技术支持可能不够健全。
1.9K10编辑于 2024-10-30- 来自专栏开源服务指南
把数据库转换成电子表格：支持实时编辑、接口调用 | 开源日报 No.254
根据当前浏览器流行度和属性支持情况自动为您应用前缀 可以尝试 Autoprefixer 的交互式演示 被 Google、Twitter 和阿里巴巴使用 mudler/LocalAIhttps://github.com/mudler/LocalAI Stars: 19.6k License: MIT LocalAI 是一个免费、开源的 OpenAI 替代品。
52510编辑于 2024-05-10 - 来自专栏运维之美
Github 星标 14.6K: 一站式 AI 桌面应用 Anything LLM
OpenAI (通用) Azure OpenAI Anthropic Google Gemini Pro Hugging Face (聊天模型) Ollama (聊天模型) LM Studio (所有模型) LocalAi 聊天模型) OpenRouter (聊天模型) Mistral Groq Cohere KoboldCPP 支持的嵌入模型 AnythingLLM原生嵌入器（默认） OpenAI Azure OpenAI LocalAi
2.2K10编辑于 2024-06-13 - 来自专栏开源服务指南
AI 模型训练与优化：提升中文理解能力 | 开源专题 No.88
支持向量机（SVM）和 K 最近邻（KNN）算法实现 朴素贝叶斯分类器实现 深度学习专业化课程学习记录及相关代码分享 mudler/LocalAIhttps://github.com/mudler/LocalAI Stars: 20.6k License: MIT LocalAI 是一个免费、开源的 OpenAI 替代品。
34310编辑于 2024-06-11 - 来自专栏人工智能极简应用
AI智能体研发之路-工程篇（三）：大模型推理服务框架Ollama一键部署
今天要讲的是一个大模型推理服务框架-Ollama，对比的还有Xinference、OpenLLM、LocalAI，从丝滑角度而言（这里特别强调一下，我所讲的丝滑，指的是众所周知的网络环境下，学习、部署、 应用等环节，坑最少，最易上手），Ollama>=Xinference>LocalAI>OpenLLM。
1.8K11编辑于 2024-08-13 - 来自专栏程序那些事儿
最近一周github热门开源项目盘点
LocalAI LocalAI 是一个直接的，直接替换 API，与 OpenAI 兼容，用于本地 CPU 推理，基于 llama.cpp，gpt4all 和 ggml，包括支持 GPT4ALL-J。 LocalAI 是一个社区驱动的项目，专注于让任何人都可以使用 AI。
89630编辑于 2023-07-24 - 来自专栏HelloGitHub
是时候，升级你的 Windows 了「GitHub 热点速览」
GitHub 地址→https://github.com/whoiskatrin/chart-gpt OpenAI 兼容 API：LocalAI 主语言：Go New一个自托管、社区驱动的、简单的本地 GitHub 地址→https://github.com/go-skynet/LocalAI 1.2 sudo 和 su 实现：sudo-rs 主语言：Rust New 一个 Rust 写的、兼顾安全性和内存安全性导向的
44230编辑于 2023-08-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号