- 综合排序
- 最热优先
- 最新优先
大模型私有化部署工具比较
LocalAILocalAI是一种专门为本地部署设计的工具，它支持多种AI模型和硬件环境。主要优点包括：灵活性：LocalAI支持多种操作系统和硬件，使得用户可以在不同的环境中部署模型。 然而，LocalAI也有一些缺点：资源需求：为了在本地运行大模型，需要较高的计算能力，这可能导致较大的初期投资。技术支持有限：相对于成熟的云服务平台，LocalAI的用户社区和技术支持可能不够健全。 更新频率：更新和迭代速度可能无法与市场上快速发展的AI模型需求保持同步。目前遇到几次gpu显存不释放问题。背景：部署了rerank模型，使用vllm推理引擎。 如果请求量过大，会导致gpu显存占用过大，xinf好像会重新调用大模型，但是之后不再继续使用gpu, 重新launch模型不管用。需要整个重启xinf。 OLLAMAOLLAMA是一个比较新的本地部署工具，它专注于提供高效的大模型本地管理解决方案。OLLAMA的主要优点是：模型管理：强大的模型管理功能，支持多版本控制和自动更新。
2.2K10编辑于 2024-10-30- 来自专栏有关SQL
一键部署自己的私有大模型
部署你的私有化对话机器人，只需要三步： 克隆 github 中文版 LLaMa repo 下载 HuggingFace 13B 16K 完整模型 启动对话窗口 没错，就是这么简单 我把这份操作指南 usp=sharing 这份笔记，支持中文 LLaMa 2 ，采用 13B-16K 的大模型，上下文可以达到 16K Token 它可以做哪些事情呢？ 但我已经倾向于先弄脏自己的手，即下场干活 当下生成式 AI 大热，写代码在我看来是比写文章，要好玩的多。
85950编辑于 2023-09-18 DeepSeek大模型本地私有化部署详尽步骤解析，助你轻松部署
大模型私有化部署，即将AI模型本地部署，在开始前，我们有必要先理解本地部署带来的好处是什么，它不仅仅是“换个地方运行AI”，更是对数据、成本和使用体验的一次全新掌控。 轻量级，主要通过命令行指令进行模型管理和运行。操作难度极低，无需任何编程或命令行基础，全程鼠标点击。低至中等，需要掌握基本的命令行操作。部署流程集成模型下载、环境配置、运行和交互于一体。 接下来，我们来看下使用「DS本地部署大师」如何进行本地部署吧。准备工作：硬件检查与软件获取1、硬件配置检查：本地部署大模型对硬件有一定要求，主要是显卡和内存。 第三步：启动模型并开始对话模型下载并部署成功后，就可以立即开始体验了。只需要点击“立即体验”，就可以进入到对话界面，开始与AI进行对话啦。 在对话界面，你除了可以选择本地部署的本地模型，还可以切换到在线模型，如DeepSeek、文心一言、豆包，并可以结合联网搜索功能。
6K50编辑于 2025-08-25零基础学AI大模型之大模型私有化部署全指南
AI大模型之AI大模型常见概念 零基础学AI大模型之大模型私有化部署全指南：方式、硬件配置与Ollama实操 在大模型技术落地过程中，私有化部署因数据隐私保护、定制化需求适配、离线场景支持等优势，成为企业级应用的核心选择 本文将系统梳理开源大模型私有化部署的常见方式，详解DeepSeek各参数模型的硬件配置与适用场景，并聚焦Ollama工具的实操落地，为技术团队提供从选型到部署的完整参考。 一、开源大模型私有化部署：2种核心方式对比 开源大模型的私有化部署无“统一方案”，需根据技术门槛、团队能力、场景需求选择。 二、DeepSeek大模型私有化部署：全参数硬件配置与场景选型 DeepSeek-R1系列覆盖1.5B到671B参数，不同规模模型的硬件需求、推理性能、适用场景差异极大。 需专业AI运维团队，支持多卡数据并行 需超算中心级基础设施，适配分布式训练框架 三、Ollama实操：3步实现DeepSeek本地部署 Ollama是目前最火的大模型本地化部署工具，被誉为“大模型领域的
2K11编辑于 2025-12-22- 来自专栏福大大架构师每日一题
对于企业私有大模型DeepSeek的部署，应该选择Ollama还是vLLM？
1 前言 对于对数据敏感的企业，如果想要部署自己的大模型（例如：DeepSeek R1），可以考虑使用Ollama或vLLM这两种方式。总体结论是： ①.Ollama 更适合于开发和测试阶段。 ②.vLLM 则更加适合用于生产环境的部署。 接下来，我将进行详细的对比，以便让你对这两者有更清晰的理解。 2 选型对比 Ollama与vLLM都是针对大语言模型（LLM）部署和推理的开源框架，但它们在设计目标、技术特点和适用场景上有显著的差异。下面通过多个维度给出具体对比说明 1. 核心定位与部署方式 Ollama ： 主要面向本地轻量化部署，利用Docker容器技术简化模型的运行流程，使用户能够以较少的配置迅速启动模型，非常适合个人开发者或资源受限的环境。 技术特点 Ollama ： 简化部署 ： 将模型权重、配置和依赖打包为统一格式，通过简单命令（如ollama run）即可启动模型。
1.6K10编辑于 2025-03-17 - 来自专栏开源部署
用香橙派AIpro部署大模型、安装宝塔搭建私有随身WEB开发环境
用香橙派AIpro部署大模型、安装宝塔搭建私有随身WEB开发环境什么是香橙派Orange Pi AI Pro 开发板是香橙派联合华为精心打造的高性能 AI 开发板，其搭载了昇腾 AI 处理器，可提供 8TOPS 1.香橙派AIpro部署大语言模型2.利用香橙派AIpro安装LNMP（宝塔面板）搭建私有的Wordpress博客WEB系统基础配置香橙派 AIproCPU：昇腾AI技术路线 （听群友说是 A55）内存 香橙派AIpro部署大语言模型Ollama运行llama3、qwen等大模型，虽然有些小马拉大车，我还是想试试它的极限在哪里安装Ollama方法1、命令行下载安装(耗时长)安装命令：$ sudo apt llama2ollama run llama3ollama run llama3:8b谷歌的大模型：ollama run gemma微软的大模型ollama run phi3删除模型显示所有模型# ollama 结语本文只是介绍了用香橙派AIpro部署大语言模型和安装宝塔搭建web环境。香橙派AIpro 支持Ubuntu、openEuler等操作系统，也可以作为一个学习Linux的有力工具。
2.4K11编辑于 2025-05-14 企业私有化大模型部署：从选型到上线的完整工程路径
一、一个被忽视的问题2026年，越来越多的企业开始考虑私有化部署大模型。原因很简单：数据安全、合规要求、成本可控。但一个普遍存在的现象是：很多团队在选型和部署阶段就卡住了。 私有化部署涉及硬件选型、模型选型、推理框架、高可用架构、成本测算等多个环节，每个环节都有不少坑。这篇文章就是一套从选型到上线的完整工程路径，希望能帮你少走弯路。 （开源 vs 商业）推理框架选型硬件配置确定阶段三：部署环境搭建模型部署与测试高可用配置（如需）阶段四：上线监控体系搭建成本归因方案应急预案九、延伸阅读本文介绍的企业私有化大模型部署工程路径，与 ZGI ZGI支持私有化部署、多模型接入、精细化成本归因，感兴趣可以参考ZGI的技术文档。写在最后私有化大模型部署不是一件简单的事，但也不是不可逾越的难题。 你的私有化部署，卡在哪一步？
12600编辑于 2026-04-13- 来自专栏陶士涵的菜地
本地私有化部署大模型RWKV-懒人包一键安装享受专属免费大模型-RWKV Runner
v1.3.7_win.zip，然后让其自动更新到最新版，或添加信任 对于不同的任务，调整API参数会获得更好的效果，例如对于翻译任务，你可以尝试设置Temperature为1，Top_P为0.3 功能 RWKV模型管理 启动模型后，打开 http://127.0.0.1:8000/docs 查看详细内容 全自动依赖安装，你只需要一个轻巧的可执行程序 预设了2G至32G显存的配置，几乎在各种电脑上工作良好 自带用户友好的聊天和补全交互页面 易于理解和操作的参数配置 内置模型转换工具 内置下载管理和远程模型检视 内置一键LoRA微调 也可用作 OpenAI ChatGPT 和 GPT Playground 客户端 多语言本地化 主题切换 BlinkDL/RWKV-LM RWKV-LM-LoRA: https://github.com/Blealtan/RWKV-LM-LoRA Preview 主页 图片 聊天 图片 补全 图片 配置 图片 模型管理
1.4K10编辑于 2023-07-21 - 来自专栏AI分享
模型即服务（MaaS）的私有化部署
Python生态中的Zato一、Zato核心架构解析1.1 服务总线设计哲学Zato采用经典的ESB模式，其架构核心由三大组件构成：服务容器：轻量级运行时环境，采用多进程模型（默认每个worker 8进程 ）消息代理：基于Redis的混合持久化策略（内存+磁盘备份）管理控制台：基于Django Admin的Web管理界面# 典型部署拓扑示例 +-------------------+ | Redis Cluster | | (Message Broker) | +-------------------+1.2 异步通信模型 Zato采用基于gevent的协程模型实现高并发处理。 CelerySpring Cloud协议支持30+HTTP为主15+内置安全多层防御体系需自行集成OAuth2/JWT服务编排可视化配置Celery任务链Spring Cloud Data Flow学习曲线中等低高部署复杂度一体化多组件部署中等六
4K10编辑于 2025-04-02 私有大模型部署安全实践指南：基于Ollama架构的风险分析与防护方案
背景：收到相关漏洞信息通知，具体为：关于使用Ollama工具部署大模型存在未授权访问的风险提示，在此背景下形成该文章 一、技术风险分析在私有化部署大语言模型（LLM）领域，开源框架Ollama因轻量化部署特性受到广泛关注 资源滥用风险：攻击者可通过API接口： 远程调用模型计算资源 获取私有知识库内容 注入恶意数据污染训练集 二、安全防护技术方案 （一）本地化部署场景 实施原则：仅允许内部可信网络环境访问，禁止公网暴露技术实现 持续监控机制 部署API流量分析工具（如Prometheus+Grafana） 设置异常访问告警规则（高频请求、非常用地域IP）2.
1.5K20编辑于 2025-02-26金融风控大模型技术指南：私有化部署与腾讯云产品集成
摘要： 本文旨在为金融行业提供金融风控大模型技术的解析、私有化部署操作指南以及与腾讯云产品的集成方案。 通过技术解析、操作指南和增强方案三个部分，详细介绍了金融风控大模型的核心价值、实施挑战、部署流程、性能优化以及与腾讯云产品的集成优势。 操作指南 以下是金融风控大模型私有化部署的分步操作指南，以及如何利用腾讯云产品特性进行性能优化和高可用设计。 步骤一：数据预处理 原理说明： 数据预处理是模型训练的前提，包括数据清洗、特征工程等。 步骤二：模型训练与部署 原理说明： 选择合适的机器学习框架进行模型训练，并将其部署到私有化环境中。 通过本文的技术指南，金融行业可以更好地理解金融风控大模型技术，并利用腾讯云产品实现私有化部署和优化，以提升风控效率和业务竞争力。
49010编辑于 2025-07-29- 来自专栏智能文本处理
年度AI对话|达观陈运文：做私有部署的大模型，数据安全更具优势
在陈运文看来，与通用型大模型相比，达观的模型参数少，训练成本和使用成本都更具有竞争力；与公有部署相比，私有部署的模式在数据安全方面更具优势，也更适合中国金融、电信这样的行业；而对于包括RPA在内的行业来说 陈运文：曹植系统和百度的文心一言这种面向C端的通用的模型在定位上还是不一样的。曹植系统面向的更多是垂直领域的可以私有化部署的一些客户。 对于大模型的产品，我们看到很多中国的客户还是很担心这种通用大语言模型会导致数据的安全问题或者隐私泄露的问题，所以针对这种客户需求，曹植系统是可以在客户内部进行细化部署，在客户的内网下针对客户的行业和应用场景进行定制 陈运文：我觉得首先是数据安全的问题，因为我们所有的客户都非常关心自己的私有数据会不会被大模型泄露出去，如果用一个公开的通用的模型的话，确实会存在数据被模型学习后而被他人利用。 所以曹植是派到各个企业内部进行部署的，这会让客户觉得更安全。因为文心一言毕竟是一个通用的模型，它部署在公有云上，所有人都同时在用的，确实还是很难兼顾到每一个企业自己独有的数据安全的问题。
66120编辑于 2023-04-12 - 来自专栏强人工智能之路
使用开源大语言模型私有化部署打造数据库专家系统
1 什么是DB-GPT一个开源的以数据库为基础的GPT实验项目，使用本地化的GPT大模型与您的数据和环境进行交互，无数据泄露风险，让大模型的能力绝对私有、安全、可控。 用户只需要整理好知识文档，即可用现有的能力构建大模型所需要的知识库能力。3.2 大模型管理能力在底层大模型接入中，设计了开放的接口，支持对接多种大模型。 3.5 Agent与插件Agent与插件能力是大模型能否自动化的核心，在本的项目中，原生支持插件模式，大模型可以自动化完成目标。 ，让用户使用大语言模型变得更简单、更高效。 但方向是对的，未来大模型在公司生产环境某个领域落地，应该就是这种方式。期待开源的大模型早日追上3.5的能力！
5.8K72编辑于 2023-06-05 - 来自专栏机器学习与统计学
纯离线安装大模型推理引擎，部署量化大模型
大家好，我是 Ai 学习的老章 继续介绍大模型推理引擎+Llama.cpp，前文我写了# 内网部署 llama.cpp，运行量化大模型，详细介绍了 llama.cpp 这个推理引擎，内网离线 cmake 本文我们用个更省事儿的内网离线部署方式——Docker，然后用其部署量化大模型，其中踩坑若干，才有如此精炼、极简教程 1、联网环境拉取 llama.cpp 镜像并保存 选择镜像最好是官方，比如 llama.cpp server-cuda https://github.com/ggml-org/llama.cpp/blob/master/docs/docker.md 市面上有很多个人打包的镜像，大多都是阉割版 费老大劲搞进去，发现大模型无法加载 /dir 再传入内网： llama.cpp 服务需要模型文件才能运行，在你的 Linux 服务器上创建一个目录，用来存放 GGUF 格式的模型文件。 5、启动大模型 docker run --rm --runtime nvidia -e TZAsia/Shanghai --gpus "device=2" -v /opt/data/ai/GGUF:/models
1.2K10编辑于 2025-10-11 - 来自专栏开源项目搭建
简单3步部署本地国产大模型DeepSeek大模型
简单3步部署本地国产大模型DeepSeek大模型DeepSeek是最近非常火的开源大模型，国产大模型 DeepSeek 凭借其优异的性能和对硬件资源的友好性，受到了众多开发者的关注。 本文将介绍如何通过简单 3 步在本地部署 DeepSeek 大模型，让你能够轻松体验这一强大的 AI 工具。 GeForce RTX 4070Ti可以运行大模型deepseek-r1的哪个版本的大模型？ 提供了类似OpenAI的API接口和聊天界面,可以非常方便地部署最新版本的GPT模型并通过接口使用。支持热加载模型文件,无需重新启动即可切换不同的模型。 理论上就安装完成了，可以只在命令行中使用大模型了。修改路径文件保存路径可以不用改，如果C盘空间不够用，建议修改。
6.3K33编辑于 2025-02-06 - 来自专栏小陈运维
使用Ollama部署deepseek大模型
使用Ollama部署deepseek大模型 前置条件 使用英伟达显卡下载cuda驱动 https://developer.nvidia.com/cuda-downloads Ollama Ollama 的安装方式去安装 若你的显卡是在Linux上面 可以使用如下命令安装 curl -fsSL https://ollama.com/install.sh | sh 当然Ollama不只是可以启动deepseek模型 ，也可以启动他的模型 https://ollama.com/search # 模型的安装命令 # 1.5B Qwen DeepSeek R1 # 所需空间大约 1.1G ollama run deepseek-r1
2.7K20编辑于 2025-02-04 - 来自专栏AllTests软件测试
本地部署AI大模型DeepSeek
DeepSeek是一家专注于人工智能技术的公司（中国杭州深度求索）及其推出的大语言模型的名称。 DeepSeek的核心产品，是一系列强大的大语言模型。 官方网址： https://www.deepseek.com/ 本篇讲解如何快速的在本地部署AI大模型DeepSeek。 2、本地部署DeepSeek 1、首先要下载安装Ollama。 Ollama是一个开源的大型语言模型本地部署框架。 特点： 多平台支持，如Windows、macOS、Linux，还支持Docker，方便跨平台部署。 它支持多种大语言模型运行程序，如Ollama和兼容OpenAI的应用程序编程接口（API），还内置了用于检索增强生成（RAG）的推理引擎，使其成为一个强大的人工智能部署解决方案。
76810编辑于 2025-02-10 - 来自专栏小手冰凉
helm——部署私有库
1、运行web容器作为私有仓库（我在node01上运行这个容器） #运行web容器 [root@docker-k8s02 ~]# docker run -d -p 81:80 -v /var/www:/ /charts [root@docker-k8s01 myrepo]# helm repo list #确认返回的列表有新添加的仓库 其实，配置至此，已经可以正常供内网环境使用这个charts包的私有仓库了 0.1.0.tgz [root@docker-k8s01 myrepo]# rm -rf * [root@docker-k8s01 myrepo]# helm search testchart #还是可以看到私有仓库中的包的 7、从新的私有库中安装testchart进行测试 #可以像使用共有库一样使用这个私有库了 [root@docker-k8s01 myrepo]# helm install newrepo/testchart
2.7K31发布于 2020-09-18 - 来自专栏小陈运维
使用Ollama部署deepseek大模型
使用Ollama部署deepseek大模型前置条件使用英伟达显卡下载cuda驱动https://developer.nvidia.com/cuda-downloadsOllamaOllama 官方版: 的安装方式去安装若你的显卡是在Linux上面 可以使用如下命令安装curl -fsSL https://ollama.com/install.sh | sh当然Ollama不只是可以启动deepseek模型 ，也可以启动他的模型https://ollama.com/search# 模型的安装命令# 1.5B Qwen DeepSeek R1 # 所需空间大约 1.1Gollama run deepseek-r1
3.4K12编辑于 2025-01-26 - 来自专栏数据挖掘
大模型高效下载部署方式
下载模型sh hfd.sh gpt2 --tool aria2c -x 44.下载数据集sh hfd.sh wikitext --dataset --tool aria2c -x 4 二、国内魔塔社区下载下面以 cogvlm2-llama3-chinese-chat-19B 为例子SDK下载#模型下载from modelscope import snapshot_downloadmodel_dir = snapshot_download
66610编辑于 2024-07-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号