- 综合排序
- 最热优先
- 最新优先
- 来自专栏编码如写诗
深入理解moltbot(Clawdbot) 本地 AI 助理
什么是 Clawdbot Clawdbot 是一个开源的个人 AI 助理系统,它运行在本地设备上,通过主流通讯平台(如 Telegram、WhatsApp、Slack 等)与用户交互。 方式二:本地部署(适合隐私要求高的用户) 如果你更注重数据隐私,可以在本地设备上部署 Clawdbot。 但你可以使用本地部署的开源 LLM 模型(如 LLaMA、Qwen 等)来实现完全离线运行。 未来展望 Clawdbot 代表了 AI 助理的一个重要发展方向:从"问答"到"执行"。 通过本地化部署和强大的执行能力,它为我们展示了一个充满可能性的未来:AI 不再只是一个问答工具,而是能够融入我们的工作流,帮助我们完成各种任务的智能伙伴。 你可以根据自己的需求,定制专属的 AI 助理,探索自动化带来的效率提升。 如果你还没有尝试过,不妨花 30 分钟按照本文的指南部署一下。相信你会和我一样,对"住在电脑里的贾维斯"充满期待!
60010编辑于 2026-02-03 - 来自专栏山行AI
GPT4All——可本地布署的AI助理
clean assistant data including code, stories and dialogue[5] GPT4All：开源的大型语言模型生态系统 GPT4All是一个生态系统，用于训练和部署强大且定制的大型语言模型 Nomic AI支持并维护这个软件生态系统，以确保质量和安全性，同时带头让任何个人或企业都能轻松地训练和部署自己的大型语言模型。 充分利用你的本地LLM 推理速度 本地LLM的推理速度取决于两个因素：模型大小和作为输入的令牌数量。不建议使用大量的上下文提示本地LLM，因为它们的推理速度会大大降低。 GPT4All的目标是将最强大的本地助手模型带到你的桌面，Nomic AI正在积极地改进它们的性能和质量。 通过更改请求的基本路径，即可在您的 AI 动力应用程序中使用本地 LLM： import openai openai.api_base = "http://localhost:4891/v1" #openai.api_base
5.8K21编辑于 2023-06-26 - 来自专栏AllTests软件测试
本地部署AI大模型DeepSeek
1、前言 在刚刚过去的春节假期，AI界可一点都不平静，一款来自中国的AI应用 DeepSeek，如同横空出世的黑马，迅速在全球范围内掀起了波澜。 从诞生之初就怀揣着推动人工智能技术发展的宏大愿景，致力于开发先进的大语言模型（LLM）和相关技术，在短短一年多的时间里，便在竞争激烈的AI领域崭露头角。 官方网址： https://www.deepseek.com/ 本篇讲解如何快速的在本地部署AI大模型DeepSeek。 2、本地部署DeepSeek 1、首先要下载安装Ollama。 Ollama是一个开源的大型语言模型本地部署框架。 特点： 多平台支持，如Windows、macOS、Linux，还支持Docker，方便跨平台部署。 本地运行，让用户可在本地设备上运行大型语言模型，无需网络连接也能使用部分功能。 官方网址： https://ollama.com/ 快速上手使用大语言模型。
76610编辑于 2025-02-10 - 来自专栏AI技术应用
AI本地化部署的流程
AI本地化部署（On-Premise AI Deployment）的流程是一个系统性、多阶段的过程，旨在将AI模型及其所有相关组件（数据、基础设施、应用程序）部署在企业自己的数据中心或边缘设备上。 以下是AI本地化部署的详细流程：阶段一：规划与需求定义 (Planning & Requirement Definition)项目启动与目标明确：明确业务目标： AI智能体或模型将解决什么具体业务问题？ 模型训练与验证（如果需要）：模型训练： 在本地GPU集群上使用TensorFlow或PyTorch训练AI模型。模型验证： 使用独立的验证集评估模型性能，进行超参数调优，防止过拟合。 部署到K8s集群： 使用kubectl apply -f命令将AI服务部署到Kubernetes集群。 AI本地化部署是一个长期的过程，需要企业持续投入资源进行优化、维护和迭代。
1.6K10编辑于 2025-06-06 - 来自专栏AI技术应用
AI本地化部署的优势
AI本地化部署（On-Premise AI Deployment）指的是将AI模型、数据、基础设施和相关应用程序全部部署在企业自己的服务器、数据中心或边缘设备上，而不是依赖于第三方云服务提供商。 资源利用率最大化： 如果企业已经拥有或计划购买昂贵的AI专用硬件（如GPU），本地部署可以确保这些投资得到充分利用，而不是按照云服务商的计费模型按小时计费。 与现有系统深度集成： 本地部署更容易与企业已有的IT基础设施、数据湖、业务系统进行深度集成和无缝对接，减少数据迁移和接口适配的复杂性。 离线能力与边缘计算离线运行： 在网络连接不稳定或无网络连接的环境中，本地部署的AI系统仍然可以独立运行，例如在远程油田、偏远地区的工厂、或车载系统中。 总结AI本地化部署的优势主要体现在数据主权、安全性、性能、低延迟、长期成本控制以及高度的定制化和集成能力。这些优势使得它成为许多对安全、性能和合规性有严苛要求的企业或特定行业应用场景的首选方案。
1.8K11编辑于 2025-06-06 - 来自专栏Debug日志
智能AI搭建：FastGPT本地简易部署
———— 马尔科姆·格拉德威尔 最近看到一个开源AI项目——FastGPT，感觉挺强大，准备部署到本地玩一玩。 FastGPT： 基于 LLM 大模型的开源 AI 知识库构建平台。 提供了开箱即用的数据处理、模型调用、RAG 检索、可视化 AI 工作流编排等能力，帮助您轻松构建复杂的 AI 应用。 官网：FastGPT 一、前置环境 1.1 Docker 安装 这里我使用的是Windows桌面版Docker Desktop来部署 参考文章： 一篇就够！ docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose 二、本地化部署 查看相关教程 本地FastGPT： 以上就相当于本地部署了一个简易版的FastGPT，接下来就可以本地玩一玩，创建自己的应用以及训练知识库等等。
1.5K10编辑于 2025-10-13 Docker本地部署Crawl4AI
之前本地部署的firecrawl无法正常运行了，于是今天来部署github另外一个高star的爬虫项目：Crawl4AI# Pull the release candidate (recommended for latest features)docker pull unclecode/crawl4ai:0.6.0-r1# Or pull the latest stable versiondocker pull unclecode/crawl4ai:latest如果要使用LLM，准备一个.llm.env文件# Create a .llm.env file with your API keyscat \ --shm-size=1g \ unclecode/crawl4ai:latestWith LLM support:# Make sure .llm.env is in the current \ unclecode/crawl4ai:latest配置部署成功http://10.213.151.220:11235
1.2K10编辑于 2025-06-13- 来自专栏AI技术应用
AI大模型本地化部署
AI大模型本地化部署是将大规模人工智能模型（如GPT、LLaMA、DeepSeek等）部署到本地服务器或设备上，以满足数据隐私、安全性和性能需求的过程。 以下是AI大模型本地化部署的关键步骤、技术难点及解决方案。一、本地化部署的关键步骤1.需求分析与规划 明确应用场景（如智能客服、文本生成、图像识别等）。评估本地硬件资源（GPU、内存、存储）和预算。 三、本地化部署的优势数据隐私与安全：避免敏感数据上传云端，降低泄露风险。成本效益：长期使用可能比云服务更经济。性能优化：本地部署可提供更低延迟和更高吞吐量。 企业级应用：浪潮计算机推出“推理一体机”，支持多行业快速部署AI能力。五、未来趋势软硬协同：更多“开箱即用”的一体化解决方案将涌现。国产化适配：国产AI算力和模型（如DeepSeek）将加速普及。 边缘计算：大模型将更多部署到边缘设备，满足实时性需求。通过以上步骤和解决方案，AI大模型本地化部署可以更好地满足行业需求，推动AI技术的广泛应用。
4K10编辑于 2025-03-08 - 来自专栏轩辕镜像
3 分钟用 Docker 部署 CoPaw！你的专属AI个人助理
背景介绍在AI个人助理领域，Copaw绝对是近期的黑马——它支持钉钉/飞书/QQ等多端接入、本地/云端灵活部署、Skills自由扩展，还能无缝对接OpenAI/AzureOpenAI/本地大模型。 logging:driver:"json-file"options:max-size:"100m"max-file:"3"#接入自定义隔离网络networks:-copaw-net#系统级文件描述符限制：适配AI tmpfs进程数无限制监控进程数量配置pids_limit限制最大进程数HTTPS降级攻击无强制要求配置HSTS响应头强制HTTPS访问身份认证弱可使用BasicAuth接入企业统一身份认证体系七、扩展：AI 增强型部署（本地模型场景）若Copaw对接本地大模型（如Ollama），需补充GPU透传、模型卷挂载与环境兼容配置，实现本地私有化AI能力。 ，核心方案分为两类：文件型数据：使用分布式共享存储，如NFS、Ceph、GlusterFS，或云厂商NAS服务，所有实例挂载同一份共享存储，替代本地命名卷；结构化数据：将业务数据从本地文件迁移至数据库，
2.9K130编辑于 2026-03-04 - 来自专栏AI技术应用
AI 本地化部署的详细方案
AI 本地化部署（On-Premise AI Deployment）指的是将 AI 模型、数据、基础设施和相关应用程序部署在企业自己的服务器、数据中心或边缘设备上，而不是依赖于第三方云服务提供商。 以下是 AI 本地化部署的详细方案：一、前期规划与需求分析明确用例和目标： 部署哪个 AI 模型（LLM、CV 模型、推荐系统等）？ 解决什么业务问题？ 期望的性能指标（延迟、吞吐量、准确性）？ MaaS (Model-as-a-Service) 平台： 一些厂商提供本地部署的 MLOps 平台，如 MLflow、Kubeflow、OpenVINO 等，简化模型管理和部署。 本地化部署的优缺点：优点： 数据隐私和安全性： 数据不离开企业防火墙，满足严格的合规性要求。 完全控制： 对硬件、软件和 AI 环境拥有完全控制权，可深度定制。 AI 本地化部署是一个复杂的项目，但对于那些拥有敏感数据、严格合规要求和强大 IT 基础设施的企业来说，它提供了无与伦比的控制力、安全性和定制化能力。
4.6K10编辑于 2025-06-06 - 来自专栏AI技术应用
AI大模型的本地化部署
AI大模型的本地化部署，是将原本在云端运行的大型人工智能模型，转移到本地的硬件设备上运行。这种部署方式，在数据隐私、网络延迟、成本控制等方面，都有着重要的意义。 以下是关于AI大模型本地化部署的一些关键方面。1. 本地化部署的优势：数据隐私： 本地部署可以最大限度地保护敏感数据，避免数据在传输和存储过程中泄露的风险。 安全问题： 本地化部署需要注意本地设备的安全，防止模型被恶意使用。3. 本地化部署的关键技术：模型量化： 通过降低模型的精度，减小模型的大小，提高运行速度。 Ollama，LM Studio： 这些工具均支持不同大模型的本地部署，并优先使用GPU进行推理。5. 本地化部署的应用场景：智能手机： 图像识别、语音识别、自然语言处理等。 总而言之，AI大模型的本地化部署，是一项具有挑战性但也充满机遇的技术。随着硬件资源的不断提升和模型优化技术的不断发展，本地化部署的应用前景将更加广阔。
1.8K10编辑于 2025-03-10 macOS 部署 OpenClaw 个人助理避坑指南：放弃本地环境，三步搭建云端大脑
在本地 macOS 环境部署 AI 助理（如 OpenClaw）往往是劝退新手的开始：Python 版本冲突、依赖库报错、风扇狂转且严重占用系统资源。 核心方案：云端计算 + 本地交互 与其在 MacBook 上折腾环境，不如直接使用云服务器。 你无需担心把本地开发环境搞乱，且 2核4G 的配置足以支撑 OpenClaw 的推理需求，按量计费模式下测试成本极低。 实战步骤 1. 验证与调试 部署完成后，直接在终端验证核心功能： openclaw chat "查询今天 macOS 的系统更新日志" 若返回结构化的文本回复，即代表部署成功。 需移除隔离属性： xattr -d com.apple.quarantine /path/to/openclaw-client 部署总结 实测数据显示，采用腾讯云轻量服务器方案，相比本地部署节省了约 30%
8.7K410编辑于 2026-03-06- 来自专栏AI技术应用
AI大模型本地化部署的优化
AI大模型本地化部署的优化，旨在提升模型在资源受限的本地环境中的运行效率和性能。以下是一些关键的优化策略。1. 模型压缩与优化：模型量化： 通过降低模型权重和激活值的精度，减少模型大小和计算量。 NPU/TPU加速： 使用专门为AI计算设计的神经处理单元（NPU）或张量处理单元（TPU），提供更高的计算效率。 这些专用硬件能够进一步提升模型的推理速度和能效。 推理引擎优化：选择高效的推理引擎： 使用针对本地部署优化的推理引擎，如TensorFlow Lite、ONNX Runtime、TensorRT、OpenVINO等。 推理引擎配置： 根据本地硬件配置和模型特点，调整推理引擎的参数，以达到最佳性能。 例如，调整线程数、缓存大小等。4. 软件环境优化：操作系统优化： 选择适合AI计算的操作系统，并进行必要的优化配置。 通过综合应用这些优化策略，可以显著提升AI大模型在本地环境中的运行效率和性能，满足各种应用场景的需求。
1K10编辑于 2025-03-11 - 来自专栏AIGC探究
AI数字绘画:stable-diffusion 本地部署教程
前言目前AI绘画最牛的软件就两款，一个Midjourney（收费，最低也得一个月10美刀，需要科学），另一个叫stable-diffusion，而Stable Diffusion开源免费，不受网络限制， 今天就给大家带来Stable Diffusion安装教程，喜欢玩AI绘画的，可以了解一下。电脑配置最核心的关键点：看显卡、看内存、看硬盘、看CPU。 内存查看高手简易教程1.安装前置软件Gitpython注意安装时要勾上“把Python添加到路径”2.克隆项目到本地建立一个本地专用文件夹执行:git clone https://github.com/ 安装模型默认只有一个模型，在启动器模型管理页面可以看到，本地打勾代表才能使用，其他的模型需要下载才能使用。
1.7K00编辑于 2023-07-24 - 来自专栏AI技术应用
AI大模型本地化部署的流程
本地化大模型的步骤通常包括以下几个关键环节。1.需求分析明确目标：确定本地化大模型的具体用途，如文本生成、翻译、问答等。资源评估：评估本地硬件资源（如GPU、内存、存储）和预算。 5.模型训练微调模型：在本地数据上微调预训练模型。超参数调优：调整学习率、批量大小等超参数。分布式训练：如果数据量大，考虑分布式训练。6.模型评估性能评估：使用验证集评估模型性能。 8.部署本地部署：将模型部署到本地服务器或边缘设备。API接口：提供RESTful API或gRPC接口供其他应用调用。9.监控与维护性能监控：持续监控模型性能。模型更新：定期更新模型以保持最佳性能。 10.文档与支持文档编写：记录模型训练、部署和维护的详细步骤。技术支持：提供必要的技术支持，解决使用中的问题。11.安全与合规数据安全：确保数据在训练和推理过程中的安全。 通过这些步骤，可以成功在本地环境中部署和运行大模型，满足特定需求。
1.4K10编辑于 2025-03-08 - 来自专栏AI技术应用
AI大模型本地化部署的运营
AI大模型本地化部署的运营，涉及多个层面的考量，从技术维护到用户体验，再到可能的商业模式。以下是一些关键的运营方面。1. 技术维护与更新：模型更新： AI大模型需要定期更新以保持其性能和准确性。 用户支持与体验：用户文档与教程： 提供详细的用户文档和教程，帮助用户了解如何安装、配置和使用本地部署的AI模型。 针对不同技术水平的用户，提供不同难度的文档和教程。 硬件销售： 如果本地部署需要专用硬件，可以考虑销售预装了AI模型的硬件设备。定制化服务： 为企业用户提供定制化的本地部署解决方案，满足其特定的业务需求。 关键考量：成本效益： 平衡运营成本和收益，确保本地化部署的商业可行性。技术演进： 关注AI技术的最新发展，及时更新产品和服务，保持竞争力。 通过综合考虑以上各个方面，可以有效地运营AI大模型本地化部署，实现其商业价值和社会价值。
54910编辑于 2025-03-11 - 来自专栏AI技术应用
AI 本地化部署的主要问题
AI 本地化部署（On-Premise AI Deployment）虽然在数据隐私、安全性、低延迟和长期成本控制方面具有显著优势，但也伴随着一系列挑战和问题。 以下是 AI 本地化部署的主要问题：1. 高昂的前期投入 (High Upfront Investment)硬件成本： 购买高性能的AI专用硬件（特别是GPU服务器、高速存储、网络设备）成本极高。 扩展周期长： 增加本地计算能力通常意味着需要采购新硬件、安装、配置和部署，这需要较长的时间周期，难以满足业务的快速变化。规划难度大： 需要精确预测未来的AI计算需求，以避免资源不足或过度投资。 软件生态系统限制 (Software Ecosystem Limitations)工具选择： 某些高级的AI开发工具、MLOps平台或特定算法优化库可能只在云服务商的生态系统中提供，本地部署可能无法直接使用或需要额外开发集成 综上所述，AI本地化部署虽然在特定场景下是最佳选择，但企业必须充分权衡其带来的技术、财务和运营挑战。对于大多数企业而言，混合云部署或充分利用云服务可能是更灵活、更具成本效益的策略。
83910编辑于 2025-06-06 - 来自专栏AI技术应用
AI 大模型本地化部署的调试
AI 大模型本地化部署的调试是一个复杂但至关重要的过程，它确保模型在本地环境中的正确运行和性能优化。以下是一些关键的调试方面。1. 精度验证： 比较本地运行的模型与云端或参考模型的输出，评估本地模型的精度损失。 使用适当的指标（如准确率、召回率、F1 分数）量化模型性能。 性能调试：推理速度： 测量模型在本地设备上的推理速度（如每秒处理的图像数、每秒生成的文本数）。 部署后的调试：API接口调试： 如果大模型部署为API服务，则需要使用例如postman，或者curl等工具，进行API接口的调试。监控日志： 部署后，对日志进行监控，查看运行状态，和报错信息。 通过以上调试方法，可以有效地提高AI大模型本地化部署的成功率，确保模型在本地环境中稳定、高效运行。
86410编辑于 2025-03-11 - 来自专栏AI技术应用
AI大模型本地化部署的优势
AI大模型本地化部署具有多方面的优势，这些优势使得在某些特定场景下，本地部署成为更优的选择。以下是一些主要优势。1. 成本控制：长期来看，本地部署可以减少对云计算资源的依赖，从而降低运行成本。尤其是在需要持续运行AI模型的场景下，本地部署能够避免长期支付云服务费用。4. 离线运行能力：本地部署使得AI应用能够在没有网络连接的情况下运行，提高了应用的可用性和可靠性。这对于在网络不稳定或无网络环境下使用的设备（如工业设备、移动设备等）尤为重要。5. 增强自主控制与定制化：本地部署赋予组织对AI模型及其运行环境的完全控制权。这使得组织能够根据自身需求对模型进行定制和优化，以更好地满足特定业务需求。6. 总而言之，AI大模型本地化部署在数据隐私、响应速度、成本控制、离线运行等方面具有显著优势，适用于对这些方面有较高要求的应用场景。
1.7K10编辑于 2025-03-10 qData本地部署
目录一、本地环境要求二、快速部署（一）、使用DockerCompose部署（推荐）1、安装Docker和DockerCompose2、下载部署包3、启动qData3.1、配置.env文件3.2、初始化数据库 3.3、启动qData4、访问qData(二)、源码本地部署1、本地环境要求2、克隆仓库3、使用DockerCompose启动中间件4、启动qdata-server服务5、启动qdata-quality 服务6、启动前端服务7、重置admin密码8、访问qData一、本地环境要求在本地部署qData需要有以下环境要求：后端：展开代码语言：TXTAI代码解释 jdk推荐版本 q-signature=db90d74a7a4dea697ce7799d45e112287cdc0c4f)⚠️注意：如果页面打不开请重启一下docker展开代码语言：TXTAI代码解释##(二)、源码本地部署 Redis、RabbitMQ-文件与存储：MongoDB、Hadoop、kkFileView-调度：DolphinScheduler通过DockerCompose启动中间件：DockerCompose部署文档中的本地源码模式
9310编辑于 2026-03-31
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号