- 综合排序
- 最热优先
- 最新优先
- 来自专栏AllTests软件测试
本地部署AI大模型DeepSeek
1、前言 在刚刚过去的春节假期，AI界可一点都不平静，一款来自中国的AI应用 DeepSeek，如同横空出世的黑马，迅速在全球范围内掀起了波澜。 从诞生之初就怀揣着推动人工智能技术发展的宏大愿景，致力于开发先进的大语言模型（LLM）和相关技术，在短短一年多的时间里，便在竞争激烈的AI领域崭露头角。 官方网址： https://www.deepseek.com/ 本篇讲解如何快速的在本地部署AI大模型DeepSeek。 2、本地部署DeepSeek 1、首先要下载安装Ollama。 Ollama是一个开源的大型语言模型本地部署框架。 特点： 多平台支持，如Windows、macOS、Linux，还支持Docker，方便跨平台部署。 本地运行，让用户可在本地设备上运行大型语言模型，无需网络连接也能使用部分功能。 官方网址： https://ollama.com/ 快速上手使用大语言模型。
76510编辑于 2025-02-10 - 来自专栏AI技术应用
AI本地化部署的流程
AI本地化部署（On-Premise AI Deployment）的流程是一个系统性、多阶段的过程，旨在将AI模型及其所有相关组件（数据、基础设施、应用程序）部署在企业自己的数据中心或边缘设备上。 以下是AI本地化部署的详细流程：阶段一：规划与需求定义 (Planning & Requirement Definition)项目启动与目标明确：明确业务目标： AI智能体或模型将解决什么具体业务问题？ 模型训练与验证（如果需要）：模型训练： 在本地GPU集群上使用TensorFlow或PyTorch训练AI模型。模型验证： 使用独立的验证集评估模型性能，进行超参数调优，防止过拟合。 部署到K8s集群： 使用kubectl apply -f命令将AI服务部署到Kubernetes集群。 AI本地化部署是一个长期的过程，需要企业持续投入资源进行优化、维护和迭代。
1.6K10编辑于 2025-06-06 - 来自专栏AI技术应用
AI本地化部署的优势
AI本地化部署（On-Premise AI Deployment）指的是将AI模型、数据、基础设施和相关应用程序全部部署在企业自己的服务器、数据中心或边缘设备上，而不是依赖于第三方云服务提供商。 资源利用率最大化： 如果企业已经拥有或计划购买昂贵的AI专用硬件（如GPU），本地部署可以确保这些投资得到充分利用，而不是按照云服务商的计费模型按小时计费。 与现有系统深度集成： 本地部署更容易与企业已有的IT基础设施、数据湖、业务系统进行深度集成和无缝对接，减少数据迁移和接口适配的复杂性。 离线能力与边缘计算离线运行： 在网络连接不稳定或无网络连接的环境中，本地部署的AI系统仍然可以独立运行，例如在远程油田、偏远地区的工厂、或车载系统中。 总结AI本地化部署的优势主要体现在数据主权、安全性、性能、低延迟、长期成本控制以及高度的定制化和集成能力。这些优势使得它成为许多对安全、性能和合规性有严苛要求的企业或特定行业应用场景的首选方案。
1.8K11编辑于 2025-06-06 - 来自专栏Debug日志
智能AI搭建：FastGPT本地简易部署
———— 马尔科姆·格拉德威尔 最近看到一个开源AI项目——FastGPT，感觉挺强大，准备部署到本地玩一玩。 FastGPT： 基于 LLM 大模型的开源 AI 知识库构建平台。 提供了开箱即用的数据处理、模型调用、RAG 检索、可视化 AI 工作流编排等能力，帮助您轻松构建复杂的 AI 应用。 官网：FastGPT 一、前置环境 1.1 Docker 安装 这里我使用的是Windows桌面版Docker Desktop来部署 参考文章： 一篇就够！ docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose 二、本地化部署 查看相关教程 本地FastGPT： 以上就相当于本地部署了一个简易版的FastGPT，接下来就可以本地玩一玩，创建自己的应用以及训练知识库等等。
1.4K10编辑于 2025-10-13 Docker本地部署Crawl4AI
之前本地部署的firecrawl无法正常运行了，于是今天来部署github另外一个高star的爬虫项目：Crawl4AI# Pull the release candidate (recommended for latest features)docker pull unclecode/crawl4ai:0.6.0-r1# Or pull the latest stable versiondocker pull unclecode/crawl4ai:latest如果要使用LLM，准备一个.llm.env文件# Create a .llm.env file with your API keyscat \ --shm-size=1g \ unclecode/crawl4ai:latestWith LLM support:# Make sure .llm.env is in the current \ unclecode/crawl4ai:latest配置部署成功http://10.213.151.220:11235
1.2K10编辑于 2025-06-13- 来自专栏AI技术应用
AI大模型本地化部署
AI大模型本地化部署是将大规模人工智能模型（如GPT、LLaMA、DeepSeek等）部署到本地服务器或设备上，以满足数据隐私、安全性和性能需求的过程。 以下是AI大模型本地化部署的关键步骤、技术难点及解决方案。一、本地化部署的关键步骤1.需求分析与规划 明确应用场景（如智能客服、文本生成、图像识别等）。评估本地硬件资源（GPU、内存、存储）和预算。 三、本地化部署的优势数据隐私与安全：避免敏感数据上传云端，降低泄露风险。成本效益：长期使用可能比云服务更经济。性能优化：本地部署可提供更低延迟和更高吞吐量。 企业级应用：浪潮计算机推出“推理一体机”，支持多行业快速部署AI能力。五、未来趋势软硬协同：更多“开箱即用”的一体化解决方案将涌现。国产化适配：国产AI算力和模型（如DeepSeek）将加速普及。 边缘计算：大模型将更多部署到边缘设备，满足实时性需求。通过以上步骤和解决方案，AI大模型本地化部署可以更好地满足行业需求，推动AI技术的广泛应用。
3.9K10编辑于 2025-03-08 - 来自专栏AI技术应用
AI大模型的本地化部署
AI大模型的本地化部署，是将原本在云端运行的大型人工智能模型，转移到本地的硬件设备上运行。这种部署方式，在数据隐私、网络延迟、成本控制等方面，都有着重要的意义。 以下是关于AI大模型本地化部署的一些关键方面。1. 本地化部署的优势：数据隐私： 本地部署可以最大限度地保护敏感数据，避免数据在传输和存储过程中泄露的风险。 安全问题： 本地化部署需要注意本地设备的安全，防止模型被恶意使用。3. 本地化部署的关键技术：模型量化： 通过降低模型的精度，减小模型的大小，提高运行速度。 Ollama，LM Studio： 这些工具均支持不同大模型的本地部署，并优先使用GPU进行推理。5. 本地化部署的应用场景：智能手机： 图像识别、语音识别、自然语言处理等。 总而言之，AI大模型的本地化部署，是一项具有挑战性但也充满机遇的技术。随着硬件资源的不断提升和模型优化技术的不断发展，本地化部署的应用前景将更加广阔。
1.8K10编辑于 2025-03-10 - 来自专栏AI技术应用
AI 本地化部署的详细方案
AI 本地化部署（On-Premise AI Deployment）指的是将 AI 模型、数据、基础设施和相关应用程序部署在企业自己的服务器、数据中心或边缘设备上，而不是依赖于第三方云服务提供商。 以下是 AI 本地化部署的详细方案：一、前期规划与需求分析明确用例和目标： 部署哪个 AI 模型（LLM、CV 模型、推荐系统等）？ 解决什么业务问题？ 期望的性能指标（延迟、吞吐量、准确性）？ MaaS (Model-as-a-Service) 平台： 一些厂商提供本地部署的 MLOps 平台，如 MLflow、Kubeflow、OpenVINO 等，简化模型管理和部署。 本地化部署的优缺点：优点： 数据隐私和安全性： 数据不离开企业防火墙，满足严格的合规性要求。 完全控制： 对硬件、软件和 AI 环境拥有完全控制权，可深度定制。 AI 本地化部署是一个复杂的项目，但对于那些拥有敏感数据、严格合规要求和强大 IT 基础设施的企业来说，它提供了无与伦比的控制力、安全性和定制化能力。
4.5K10编辑于 2025-06-06 - 来自专栏AI技术应用
AI 大模型本地化部署的调试
AI 大模型本地化部署的调试是一个复杂但至关重要的过程，它确保模型在本地环境中的正确运行和性能优化。以下是一些关键的调试方面。1. 精度验证： 比较本地运行的模型与云端或参考模型的输出，评估本地模型的精度损失。 使用适当的指标（如准确率、召回率、F1 分数）量化模型性能。 性能调试：推理速度： 测量模型在本地设备上的推理速度（如每秒处理的图像数、每秒生成的文本数）。 部署后的调试：API接口调试： 如果大模型部署为API服务，则需要使用例如postman，或者curl等工具，进行API接口的调试。监控日志： 部署后，对日志进行监控，查看运行状态，和报错信息。 通过以上调试方法，可以有效地提高AI大模型本地化部署的成功率，确保模型在本地环境中稳定、高效运行。
85310编辑于 2025-03-11 - 来自专栏AI技术应用
AI 本地化部署的主要问题
AI 本地化部署（On-Premise AI Deployment）虽然在数据隐私、安全性、低延迟和长期成本控制方面具有显著优势，但也伴随着一系列挑战和问题。 以下是 AI 本地化部署的主要问题：1. 高昂的前期投入 (High Upfront Investment)硬件成本： 购买高性能的AI专用硬件（特别是GPU服务器、高速存储、网络设备）成本极高。 扩展周期长： 增加本地计算能力通常意味着需要采购新硬件、安装、配置和部署，这需要较长的时间周期，难以满足业务的快速变化。规划难度大： 需要精确预测未来的AI计算需求，以避免资源不足或过度投资。 软件生态系统限制 (Software Ecosystem Limitations)工具选择： 某些高级的AI开发工具、MLOps平台或特定算法优化库可能只在云服务商的生态系统中提供，本地部署可能无法直接使用或需要额外开发集成 综上所述，AI本地化部署虽然在特定场景下是最佳选择，但企业必须充分权衡其带来的技术、财务和运营挑战。对于大多数企业而言，混合云部署或充分利用云服务可能是更灵活、更具成本效益的策略。
83010编辑于 2025-06-06 - 来自专栏AI技术应用
AI大模型本地化部署的运营
AI大模型本地化部署的运营，涉及多个层面的考量，从技术维护到用户体验，再到可能的商业模式。以下是一些关键的运营方面。1. 技术维护与更新：模型更新： AI大模型需要定期更新以保持其性能和准确性。 用户支持与体验：用户文档与教程： 提供详细的用户文档和教程，帮助用户了解如何安装、配置和使用本地部署的AI模型。 针对不同技术水平的用户，提供不同难度的文档和教程。 硬件销售： 如果本地部署需要专用硬件，可以考虑销售预装了AI模型的硬件设备。定制化服务： 为企业用户提供定制化的本地部署解决方案，满足其特定的业务需求。 关键考量：成本效益： 平衡运营成本和收益，确保本地化部署的商业可行性。技术演进： 关注AI技术的最新发展，及时更新产品和服务，保持竞争力。 通过综合考虑以上各个方面，可以有效地运营AI大模型本地化部署，实现其商业价值和社会价值。
54110编辑于 2025-03-11 - 来自专栏AI技术应用
AI大模型本地化部署的优化
AI大模型本地化部署的优化，旨在提升模型在资源受限的本地环境中的运行效率和性能。以下是一些关键的优化策略。1. 模型压缩与优化：模型量化： 通过降低模型权重和激活值的精度，减少模型大小和计算量。 NPU/TPU加速： 使用专门为AI计算设计的神经处理单元（NPU）或张量处理单元（TPU），提供更高的计算效率。 这些专用硬件能够进一步提升模型的推理速度和能效。 推理引擎优化：选择高效的推理引擎： 使用针对本地部署优化的推理引擎，如TensorFlow Lite、ONNX Runtime、TensorRT、OpenVINO等。 推理引擎配置： 根据本地硬件配置和模型特点，调整推理引擎的参数，以达到最佳性能。 例如，调整线程数、缓存大小等。4. 软件环境优化：操作系统优化： 选择适合AI计算的操作系统，并进行必要的优化配置。 通过综合应用这些优化策略，可以显著提升AI大模型在本地环境中的运行效率和性能，满足各种应用场景的需求。
1K10编辑于 2025-03-11 - 来自专栏AIGC探究
AI数字绘画:stable-diffusion 本地部署教程
前言目前AI绘画最牛的软件就两款，一个Midjourney（收费，最低也得一个月10美刀，需要科学），另一个叫stable-diffusion，而Stable Diffusion开源免费，不受网络限制， 今天就给大家带来Stable Diffusion安装教程，喜欢玩AI绘画的，可以了解一下。电脑配置最核心的关键点：看显卡、看内存、看硬盘、看CPU。 内存查看高手简易教程1.安装前置软件Gitpython注意安装时要勾上“把Python添加到路径”2.克隆项目到本地建立一个本地专用文件夹执行:git clone https://github.com/ 安装模型默认只有一个模型，在启动器模型管理页面可以看到，本地打勾代表才能使用，其他的模型需要下载才能使用。
1.7K00编辑于 2023-07-24 - 来自专栏AI技术应用
AI大模型本地化部署的流程
本地化大模型的步骤通常包括以下几个关键环节。1.需求分析明确目标：确定本地化大模型的具体用途，如文本生成、翻译、问答等。资源评估：评估本地硬件资源（如GPU、内存、存储）和预算。 5.模型训练微调模型：在本地数据上微调预训练模型。超参数调优：调整学习率、批量大小等超参数。分布式训练：如果数据量大，考虑分布式训练。6.模型评估性能评估：使用验证集评估模型性能。 8.部署本地部署：将模型部署到本地服务器或边缘设备。API接口：提供RESTful API或gRPC接口供其他应用调用。9.监控与维护性能监控：持续监控模型性能。模型更新：定期更新模型以保持最佳性能。 10.文档与支持文档编写：记录模型训练、部署和维护的详细步骤。技术支持：提供必要的技术支持，解决使用中的问题。11.安全与合规数据安全：确保数据在训练和推理过程中的安全。 通过这些步骤，可以成功在本地环境中部署和运行大模型，满足特定需求。
1.4K10编辑于 2025-03-08 - 来自专栏AI技术应用
AI大模型本地化部署的优势
AI大模型本地化部署具有多方面的优势，这些优势使得在某些特定场景下，本地部署成为更优的选择。以下是一些主要优势。1. 成本控制：长期来看，本地部署可以减少对云计算资源的依赖，从而降低运行成本。尤其是在需要持续运行AI模型的场景下，本地部署能够避免长期支付云服务费用。4. 离线运行能力：本地部署使得AI应用能够在没有网络连接的情况下运行，提高了应用的可用性和可靠性。这对于在网络不稳定或无网络环境下使用的设备（如工业设备、移动设备等）尤为重要。5. 增强自主控制与定制化：本地部署赋予组织对AI模型及其运行环境的完全控制权。这使得组织能够根据自身需求对模型进行定制和优化，以更好地满足特定业务需求。6. 总而言之，AI大模型本地化部署在数据隐私、响应速度、成本控制、离线运行等方面具有显著优势，适用于对这些方面有较高要求的应用场景。
1.7K10编辑于 2025-03-10 qData本地部署
目录一、本地环境要求二、快速部署（一）、使用DockerCompose部署（推荐）1、安装Docker和DockerCompose2、下载部署包3、启动qData3.1、配置.env文件3.2、初始化数据库 3.3、启动qData4、访问qData(二)、源码本地部署1、本地环境要求2、克隆仓库3、使用DockerCompose启动中间件4、启动qdata-server服务5、启动qdata-quality 服务6、启动前端服务7、重置admin密码8、访问qData一、本地环境要求在本地部署qData需要有以下环境要求：后端：展开代码语言：TXTAI代码解释 jdk推荐版本 q-signature=db90d74a7a4dea697ce7799d45e112287cdc0c4f)⚠️注意：如果页面打不开请重启一下docker展开代码语言：TXTAI代码解释##(二)、源码本地部署 Redis、RabbitMQ-文件与存储：MongoDB、Hadoop、kkFileView-调度：DolphinScheduler通过DockerCompose启动中间件：DockerCompose部署文档中的本地源码模式
8610编辑于 2026-03-31QClaw本地部署实测｜零代码落地、本地隐私防护，企业轻量化AI Agent部署指南
一、QClaw技术定位与核心架构概述QClaw基于OpenClaw开源框架封装，是腾讯电脑管家推出的轻量化本地AI智能体，核心技术定位为「本地执行+微信直连+隐私计算」，解决传统AIAgent部署门槛高 核心架构采用分层设计，确保本地执行效率与安全隔离，整体架构分为5层，各层职责清晰、解耦性强，适配企业轻量化自动化场景：接入层：微信协议适配与扫码认证模块，实现微信聊天框与AI控制台的无缝对接，支持文字、 本地部署、传统云AIAgent与实在Agent企业版的技术差异，为企业选型提供参考：对比维度QClaw本地部署传统云AIAgent实在Agent企业版数据安全本地执行，零数据上传数据需上传云端，存在出境风险支持本地 ：小型企业优先选择QClaw标准部署，快速落地轻量化AI自动化；中型企业可采用QClaw+私有模型组合，平衡部署效率与数据安全；大型企业可考虑实在Agent企业版，其跨系统集成能力与细粒度权限管控，更适配复杂企业 六、技术总结QClaw本地部署的核心优势在于「零代码、本地执行、微信直连」，大幅降低了AIAgent在企业的落地门槛，适合非核心业务场景的自动化试点。
1.3K00编辑于 2026-03-30- 来自专栏AI技术应用
AI大模型本地化部署的运行监测
AI大模型本地化部署的运行监测是确保模型稳定、高效运行的关键环节。以下是一些重要的监测方面和方法。1. API响应时间： 如果大模型部署为API服务，监测API的响应时间非常重要。 保证API的快速响应，提升用户体验。3. 网络监测：网络带宽： 监测网络带宽使用情况，特别是在模型更新或数据传输过程中。 通过以上监测方面和方法，可以全面了解AI大模型本地化部署的运行状态，及时发现和解决问题，确保模型的稳定、高效运行。
60710编辑于 2025-03-11 deepseek本地部署有什么用？解锁 DeepSeek 本地部署
DeepSeek 作为一款备受瞩目的大模型工具，其本地化部署逐渐成为众多用户关注的焦点。今天，我们就来深入探讨 DeepSeek 本地部署的用途，为大家详细介绍一款助力本地部署的神器，快来看看吧。 一、为什么要进行 DeepSeek 本地部署DeepSeek 本地部署保障数据隐私，适配敏感行业合规需求。降低网络依赖，无网络也能稳定运行，保障实时场景业务连续。 二、DS 本地部署大师 —— 本地部署的得力助手①一键部署，轻松上手DS 本地部署大师它内置了 DeepSeek - R1 全系列模型（1.5B/7B/14B/32B/70B），根据智能推荐并下载适合的模型版本 ②部署完成，进入体验选择模型后等待下载，下载完成后，软件会自动安装完成。之后，点击【立即体验】进入智能界面体验DeepSeek 本地部署效果。 DS 本地部署大师凭借其强大的功能和便捷的操作，为用户实现 DeepSeek 本地部署提供了一站式解决方案。
2K10编辑于 2025-08-21边缘 AI 新玩法：在 ZYNQ 本地部署 DeepSeek 模型
引言 如果你过去几年没注意人工智能的大趋势，那么你可能不知道大型语言模型（LLM）已在 AI 领域占据重要地位。 这些模型能够理解人类的文本查询，并生成文本回应。 但在某些应用场景，我们可能希望将 LLM 部署在 边缘设备（edge device） 本地执行。 部署在边缘设备的优势包括： 隐私：模型在本地运行，无需上传数据到云端。 离线访问：不依赖宽带或云服务。 成本：节省托管云推理的费用。 但工程中必须在 隐私、成本、性能之间做权衡。 2. 什么是 DeepSeek 如果你还不熟悉 DeepSeek：这是一系列高性能的开放权重 LLM 和大规模多模态模型（LMM），用于推动开放 AI 研究。 总结 该项目展示了：即便没有 GPU，也能在边缘设备（如 ZYNQ）上部署 LLM。尽管性能受限，但具备“本地离线自动推理”的能力，在特定应用场景中极具价值。
14410编辑于 2026-03-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号