- 综合排序
- 最热优先
- 最新优先
- 来自专栏轩辕镜像
LocalAI Docker 容器化部署指南
LocalAI的核心优势在于其兼容性和部署灵活性：作为OpenAIAPI的替代品，现有基于OpenAIAPI开发的应用可无缝迁移至LocalAI；同时，其容器化部署方式简化了安装配置流程，降低了本地化部署的技术门槛 本文将详细介绍如何通过Docker容器化方式部署LocalAI，包括环境准备、镜像拉取、容器配置、功能测试及生产环境优化建议，为用户提供可快速落地的部署方案。 memory和--cpus参数限制资源使用：展开代码语言：BashAI代码解释dockerrun-d\--namelocalai-service\--memory=8g\#限制最大内存使用为8GB--cpus=4\ #限制使用4个CPU核心-p8080:8080\-v/opt/localai/data:/app/data\-v/opt/localai/models:/app/models\xxx.xuanyuan.run CPU和内存资源，建议：小型模型（如7B参数）：至少4核CPU、8GB内存中型模型（如13B参数）：至少8核CPU、16GB内存大型模型（如30B+参数）：建议使用GPU加速版本缓存配置：启用请求缓存功能
66310编辑于 2025-12-29 - 来自专栏C++系列
本地AI新选择：LocalAI如何实现低成本硬件也能轻松训练AI大模型
今天我要和大家分享一个超实用的教程——在本地服务器上无需高昂价格的GPU也能运行离线AI项目的开源神器：LocalAI，并结合cpolar内网穿透工具实现轻松远程使用的详细步骤。 【视频教程】 支持CPU推理运行的开源AI神器LocalAI本地安装与远程使用教程 1. Docker部署 本例使用Ubuntu 22.04进行演示，使用Docker进行部署，如果没有安装Docker，可以查看这篇教程进行安装：《Docker安装教程——Linux、Windows、MacOS 9200端口即:【http://localhost:9200】访问Cpolar管理界面，使用Cpolar官网注册的账号登录,登录后即可看到cpolar web 配置界面,接下来在web 界面配置即可： 4. 如图所示，现在就已经成功实现使用公网地址异地远程访问本地部署的LocalAI来用AI大模型聊天啦！
1.9K10编辑于 2025-02-14 - 来自专栏话梅糖のAndroid学习
Hadoop集群部署教程-P4
Hadoop集群部署教程-P4 Hadoop集群部署教程（续） 第十三章：Hadoop生态系统组件集成 13.1 Hive数据仓库集成 安装配置步骤： # 下载解压 tar -xzvf apache-hive
26910编辑于 2025-04-17 - 来自专栏nginx
从配置到实战：LocalAI+cpolar实现本地AI训练与跨平台访问全过程
今天为您带来一套颠覆性的本地化部署方案——基于LocalAI的智能计算架构。这个开源项目能将普通PC升级为具备强大AI运算能力的终端设备，实现高效模型推理与多样化内容创作。 现在就让我们共同探索这套低成本、高效率的本地智能部署方案！ 【视频教程】 支持CPU推理运行的开源AI神器LocalAI本地安装与远程使用教程 1. Docker部署 本例使用Ubuntu 22.04进行演示，使用Docker进行部署，如果没有安装Docker，可以查看这篇教程进行安装：《Docker安装教程——Linux、Windows、MacOS 9200端口即:【http://localhost:9200】访问Cpolar管理界面，使用Cpolar官网注册的账号登录,登录后即可看到cpolar web 配置界面,接下来在web 界面配置即可： 4. 如图所示，现在就已经成功实现使用公网地址异地远程访问本地部署的LocalAI来用AI大模型聊天啦！
50010编辑于 2025-11-16 - 来自专栏机器学习
【sklearn | 4】 深度教程：模型部署与优化
在前几篇教程中，我们介绍了 sklearn的基础、高级功能，异常检测与降维，以及时间序列分析与自然语言处理。这篇教程将进一步探讨模型部署与优化的技术和方法。 模型部署模型部署是将机器学习模型集成到生产环境中，使其能够处理实时数据和提供预测结果的过程。sklearn 模型可以通过多种方式进行部署，如使用 Flask 构建 API 或者在云平台上部署。 Content-Type: application/json" -d '{"features": [5.1, 3.5, 1.4, 0.2]}' http://127.0.0.1:5000/predict总结通过本篇深度教程 ，我们学习了如何在 sklearn 中进行模型部署与优化。 模型部署可以使用 Flask 构建 API，或在云平台上部署。模型优化包括超参数调优和特征选择。希望这些技术和方法能帮助你在实际项目中提高模型的可用性和性能。
78321编辑于 2024-07-24 - 来自专栏AI SPPECH
2025年本地AI部署完全指南：从Ollama到vLLM的全方位实践教程
6.1 方案综合对比 特性 Ollama LocalAI vLLM GPT4All llama.cpp 部署难度 低 中 中高 低 中高 资源占用 中 中 高 低 低-中 推理性能 中 中 高 低 中 混合云部署：结合本地和云端优势的混合部署模式 自动模型选择：根据任务和硬件条件自动选择最佳模型和参数 多模态能力：本地部署方案对多模态模型的支持将逐步增强 结论 总结与展望 本教程全面介绍了2025年本地 AI部署的主流方案，从基础概念到高级应用，涵盖了Ollama、LocalAI、vLLM、GPT4All和llama.cpp等多个框架。 通过本教程的学习，您应该能够： 理解本地AI部署的优势和挑战 根据自己的需求选择合适的部署方案 完成从安装配置到优化维护的全流程操作 实现多模型协同部署和性能监控 掌握故障排除和资源优化的方法 随着AI 下一步建议 实践项目：尝试使用本教程中的方法部署一个完整的AI应用 社区参与：加入相关开源社区，分享经验和获取最新资讯 持续学习：关注模型优化和部署技术的最新进展 性能调优：深入研究模型量化和硬件加速技术
14.7K31编辑于 2025-11-16 - 来自专栏软件安装
Gemma 4手机部署教程，超简单！
▌引言 Gemma 4就是谷歌出的一整套开源AI模型，不是单个工具，有4种规格（小的能跑手机，大的能跑电脑）。普通人最直观的好处：离线就能用、不花用钱、数据不泄露。 为啥多人用？ 一是开源免费还能商用，随便改、随便用，不用怕收费或侵权；二是小模型也功能也挺好用，比如手机版E2B/E4B，占内存少，离线也能看图、听录音、写东西；三是功能实用不玩花的，很多人直接拿它做单功能工具，不搞复杂的 ▌安装部署教程 本次使用的是PocketPal AI工具，它是一款开源的github工具，支持安卓和ios手机安装。 Gemma4的模型如以下 但PocketPal AI只支持以下模型。 可以根据自己的手机实际情况选择对应的模型。 例如蒸馏后的 Gemma 4 其实只有 6GB 的空间，和游戏比起来还是很小的。
1K80编辑于 2026-04-13 - 来自专栏NLP/KG
LLM大模型部署实战指南：Ollama简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发
LLM大模型部署实战指南：Ollama简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发 1. 3.LocalAI 部署 LocalAI 是一个本地推理框架，提供了 RESTFul API，与 OpenAI API 规范兼容。 Dify 支持以本地部署的方式接入 LocalAI 部署的大型语言模型推理和 embedding 能力。 LocalAI API 服务部署完毕，在 Dify 中使用接入模型 在 设置 > 模型供应商 > LocalAI 中填入： 模型 1：ggml-gpt4all-j - 模型类型：文本生成 - 模型名称： LocalAI 更多信息，请参考：https://github.com/go-skynet/LocalAI 4.配置LLM+Dify(ollama ) 确认服务端口状态： netstat -tulnp
3.1K11编辑于 2024-08-17 - 来自专栏Elastic Stack专栏
如何在隔离环境中使用GPU加速的LocalAI进行文本嵌入
使用LocalAI，你可以做到这一点。LocalAI是一个免费且开源的推理服务器，与OpenAI API兼容。 第二步：配置LocalAI使用Sentence Transformers模型在本教程中，我们将使用mixedbread-ai/mxbai-embed-large-v1，它目前在MTEB排行榜上排名第四。 =======================================+======================+======================|| 0 Tesla T4 "data":[{"id":"tts-1","object":"model"},{"id":"text-embedding-ada-002","object":"model"},{"id":"gpt-4" ":"model"},{"id":"whisper-1","object":"model"},{"id":"stablediffusion","object":"model"},{"id":"gpt-4-
85611编辑于 2025-02-07 - 来自专栏张善友的专栏
Semantic Kernel 通过 LocalAI 集成本地模型
今天我们就来看一看如何把SK 和 本地部署的开源大模型集成起来。我们使用MIT协议的开源项目“LocalAI“：https://github.com/go-skynet/LocalAI。 LocalAI 使用 C++ 绑定来优化速度。 它基于用于音频转录的 llama.cpp、gpt4all、rwkv.cpp、ggml、whisper.cpp 和用于嵌入的 bert.cpp。 可参考官方 Getting Started 进行部署，通过LocalAI我们将本地部署的大模型转换为OpenAI的格式，通过SK 的OpenAI 的Connector 访问，这里需要做的是把openai 如第42行到46行代码所示，运行起来就可以体验下列的效果： 本文示例源代码：https://github.com/geffzhang/sk-csharp-hello-world 参考文章： Docker部署 LocalAI 实现本地私有化 文本转语音（TTS） 语音转文本 GPT功能 | Mr.Pu 个站博客 (putianhui.cn) LocalAI 自托管、社区驱动的本地 OpenAI API 兼容替代方案
1.1K10编辑于 2024-01-26 - 来自专栏Datawhale专栏
Datawhale出品：《GLM-4 大模型部署微调教程》发布！
Datawhale成员万字测评（二） 教程介绍 秉承开源贡献的宗旨，Datawhale团队成员在模型发布 12 小时 之内，为 编写了GLM-4整套教学流程，包括： 模型 api 部署； Langchain 接入； WebDemo 部署； vLLM 部署； LoRA 高效指令微调。 项目地址: https://github.com/datawhalechina/self-llm/tree/master/GLM-4 目前项目已被智谱官方推荐学习： 这里我们抽取一部分内容供大家了解本次教程 项目介绍 《开源大模型食用指南》是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署 除 GLM4 外，项目已支持 LLama3, InternLM, Qwen1.5 等 20 项开源模型全流程教程，并且，本项目代码全部开源！！
1.8K20编辑于 2024-06-08 - 来自专栏跟着小郑学JAVA
T系列部署教程4：数据库的安装和导入
\color{red}{前言：本教程配套博主发布的所有} T系列项目。 提示：密码请不要包含单引号等特殊字符，否则 yml 文件的密码字段需要转义字符，从而出现不必要的 bug，加大部署难度。 然后我们点击下一步，如下图所示。 然后我们点击下一步，如下图所示。 官网下载可能比较缓慢，同学们也可以到我启动教程第一节的评论区下载。 下载完成后，如下图所示。 提示：数据库名称就是项目编号，比如您部署的是 T166 项目，数据库名称就是 t166。 最终的导入结果，如下图所示。 项目数据库的成功导入，为项目后端的启动铺下基础。
51100编辑于 2024-05-26 开源免费本地AI神器，一键部署多模态大模型！
LocalAI 是一款革命性的开源AI框架，专为本地化部署设计。 : application/json" \ -d '{ "model": "llama-3.2-1b-instruct:q4_k_m", "messages": [{"role": "user ", "content": "用Python写个快速排序"}] }'同类项目对比项目名称部署难度功能丰富度硬件要求社区生态LocalAI⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐Ollama⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐ ⭐LM Studio⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐GPT4All⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐产品优势：唯一支持多模态的本地化方案无需GPU加速的量化模型支持完整的OpenAI API兼容性活跃的开源社区（每月10 三大核心优势： 零门槛部署：普通笔记本电脑即可运行百亿参数大模型 全功能覆盖：文本/语音/图像/视频处理一应俱全 高度可扩展：支持自定义模型和分布式集群适用人群：需要私有化部署AI能力的企业开发者对数据安全有严格要求的金融
2.7K10编辑于 2025-03-31- 来自专栏Se7en的架构笔记
CDH 部署教程
节点规划 Cloudera Manager Server 节点提供 WebUI 操作界面，管理 Cloudera Manager Agent 节点，在运行 Agent 的机器上部署大数据相关组件。 IP 地址 主机名 角色 硬件配置 操作系统 192.168.1.215 cm-server Server，Agent 4C8G Centos7 192.168.1.216 cm-agent-1 Agent 4C8G Centos7 192.168.1.217 cm-agent-2 Agent 4C8G Centos7 192.168.1.14 cm-mysql 数据库 4C8G Centos7 安装包下载 百度网盘链接: https://pan.baidu.com/s/1dVk2j_UBtorQ4vyBda8nrA 密码: 1bsr ? 集群开始安装部署，启动服务。 ? 完成安装。 ? CDH 集群安装检查 登陆 Clouder Manager 管理界面，可以检查集群各组件运行情况。 ?
4.5K20发布于 2021-07-23 - 来自专栏悠扬前奏的博客
Tomcat-4.部署
在Tomcat服务器上，部署Web应用有多种方法： 静态部署，在启动Tomcat之前安装Web 应用 动态部署，使用Tomcat的Manager应用直接操纵已经部署好的Web应用（依赖于auto-deplyment 4. 在启动Tomcat时部署 将Web应用静态的部署到Tomcat中，再启动Tomcat，这种情况下应用部署的位置有appBase目录决定，每台主机都指定了一个这样的位置。 Tomcat启动时部署，步骤如下： 部署上下文描述文件 部署没有被任何上下文描述文件引用过的展开的Web应用。 7.使用客户端部署器进行部署 客户端部署器（TCD）的行为包括： 验证并编译web应用 将资源压缩成war文件 将web应用部署到用于生产或开发环境的Tomcat服务器上 TCD需要用到Ant，包含了一个 默认为myapp path：应用已部署的上下文路径，默认为/myapp url：tomcat中管理器应用的绝对地址，用于部署和结束部署应用。
84530发布于 2019-05-28 - 来自专栏东风微鸣技术博客
开发者openshift4使用入门教程 - 15 - 部署Nacos
Quote 参考文章: Nacos官方文档: Kubernetes Nacos 本项目包含一个可构建的Nacos Docker Image,旨在利用StatefulSets在Kubernetes上部署Nacos OpenShift 4 部署方式 数据库 根据官方的mysql-nfs.yaml进行调整后使用, 调整后如下: mysql-nfs.yaml kind: DeploymentConfig apiVersion 机器配置 内网IP 主机名 配置 172.17.79.3 k8s-master CentOS Linux release 7.4.1708 (Core) Single-core processor Mem 4G Cloud disk 40G 172.17.79.4 node01 CentOS Linux release 7.4.1708 (Core) Single-core processor Mem 4G Cloud disk 40G 172.17.79.5 node02 CentOS Linux release 7.4.1708 (Core) Single-core processor Mem 4G Cloud
87310编辑于 2022-04-21 - 来自专栏东风微鸣技术博客
开发者openshift4使用入门教程 - 3 - 部署NGINX
前言 新的系列文章: 《开发者openshift4使用入门教程》 我所在的公司目前使用的K8S是RedHat的OpenShift 4, 虽然有官方文档, 并且有专门的 Develop 章节, 但是实际使用发现 希望对在使用OpenShift 4的开发者会有所帮助. ❤️❤️❤️ 一 概述 一句话总结本文内容: 如何将NGINX部署到OpenShift 4, 可以有以下2种方式 直接将本地的NGINX文件夹(包括 : 静态文件和nginx配置)部署到OpenShift 4 从Git仓库拉取并部署到OpenShift 4 二 准备工作 要部署到OpenShift 4, 你需要有: OpenShift 4 的租户(Project 部署成功的日志如下: replication controller "nginx-x" successfully rolled out 创建域名: 要从浏览器通过网页访问部署的NGINX, 必须将刚部署的应用创建域名后暴露 (expose)到OpenShift 4 集群外部(公司内网或互联网).
1K30编辑于 2022-04-21 - 来自专栏IT云清
arthas教程4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
44210发布于 2019-10-25 - 来自专栏云云众生s
如何通过开源项目 LocalAI 运行本地 LLM
LocalAI 是私有公司 Ollama 的替代品。 我将以适中的速度进行本教程，但我确实假设读者 熟悉 Docker。 model"}, {"id":"whisper-1","object":"model"}, {"id":"stablediffusion","object":"model"}, {"id":"gpt-4- vision-preview","object":"model"}, {"id":"tts-1","object":"model"},{"id":"gpt-4","object":"model"}, { http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{ "model": "gpt-4-
1.9K10编辑于 2024-04-08 - 来自专栏媒矿工厂
WebRTC 教程 (4)
WebRTC 教程（1） WebRTC 教程（2） WebRTC 教程 (3) 目录 WebRTC 聊天室：设计 WebRTC 聊天室：信令服务器 WebRTC 聊天室：客户端部署 WebRTC 聊天室 对于客户端，当然应该部署在浏览器上，就选用 HTML 和 CSS 作为前端开发工具，如果想要更进一步的 UI 框架就可以选择 BootStrap，前端逻辑就可以使用 JavaScript。 WebRTC 聊天室：客户端部署 讲者首先展示了这个客户端 demo，在两个页面中可以各使用一个用户名登录，之后可以选择用户并向其发送通话请求，另一方可以选择收到或拒绝，在通话时，可以点击右上角 leave http://mpvideo.qpic.cn/0bc3viaaqaaa24aix737ybrfbkwdbcvaacaa.f10002.mp4?
1.7K20编辑于 2022-05-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号