- 综合排序
- 最热优先
- 最新优先
- 来自专栏AllTests软件测试
本地部署AI大模型DeepSeek
1、前言 在刚刚过去的春节假期，AI界可一点都不平静，一款来自中国的AI应用 DeepSeek，如同横空出世的黑马，迅速在全球范围内掀起了波澜。 这一系列令人咋舌的事件，让DeepSeek这个名字，瞬间成为了全球AI领域的焦点。 DeepSeek是一家专注于人工智能技术的公司（中国杭州深度求索）及其推出的大语言模型的名称。 从诞生之初就怀揣着推动人工智能技术发展的宏大愿景，致力于开发先进的大语言模型（LLM）和相关技术，在短短一年多的时间里，便在竞争激烈的AI领域崭露头角。 官方网址： https://www.deepseek.com/ 本篇讲解如何快速的在本地部署AI大模型DeepSeek。 2、本地部署DeepSeek 1、首先要下载安装Ollama。 本地运行，让用户可在本地设备上运行大型语言模型，无需网络连接也能使用部分功能。 官方网址： https://ollama.com/ 快速上手使用大语言模型。
72210编辑于 2025-02-10 - 来自专栏清羽飞扬
本地实现HEXO文章AI摘要
摘要本地实现功能，只需修改成对应的字段名称比如ai_text即可对接，具体请看主题文档。 ，难以清理，特别是仅有一份源码在本地的朋友，注意勤备份。 QWQ.aigpu.cn - 完全免费，无需注册- 基于分布式算力，支持高性能模型- 支持本地运行和共享算力 - 高峰时段可能需要排队- 依赖社区贡献的算力，稳定性可能受影响 未明确限制，具体取决于模型和算力资源 QwQ 32B大语言模型 中等（受算力资源影响） 基于分布式家用显卡算力的平台，提供免费的大语言模型API，支持本地运行和共享算力，适合开发者和爱好者使用。 .ai-tag#ai-tag= theme.ai_summary.modelName 添加样式 这样，html部分就实现好了！
44510编辑于 2025-05-07 - 来自专栏Debug日志
智能AI搭建：FastGPT本地简易部署
———— 马尔科姆·格拉德威尔 最近看到一个开源AI项目——FastGPT，感觉挺强大，准备部署到本地玩一玩。 FastGPT： 基于 LLM 大模型的开源 AI 知识库构建平台。 提供了开箱即用的数据处理、模型调用、RAG 检索、可视化 AI 工作流编排等能力，帮助您轻松构建复杂的 AI 应用。 docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose 二、本地化部署 查看相关教程 本地FastGPT： 以上就相当于本地部署了一个简易版的FastGPT，接下来就可以本地玩一玩，创建自己的应用以及训练知识库等等。
1.2K10编辑于 2025-10-13 - 来自专栏AI技术应用
AI本地化部署的流程
AI本地化部署（On-Premise AI Deployment）的流程是一个系统性、多阶段的过程，旨在将AI模型及其所有相关组件（数据、基础设施、应用程序）部署在企业自己的数据中心或边缘设备上。 以下是AI本地化部署的详细流程：阶段一：规划与需求定义 (Planning & Requirement Definition)项目启动与目标明确：明确业务目标： AI智能体或模型将解决什么具体业务问题？ 数据安全与合规性评估：数据敏感性分析： 识别哪些数据属于敏感或受法规约束，必须在本地处理和存储。合规性要求： 明确适用的行业标准、国家/地区法规（如GDPR、HIPAA、PCI DSS等）。 模型训练与验证（如果需要）：模型训练： 在本地GPU集群上使用TensorFlow或PyTorch训练AI模型。模型验证： 使用独立的验证集评估模型性能，进行超参数调优，防止过拟合。 AI本地化部署是一个长期的过程，需要企业持续投入资源进行优化、维护和迭代。
1.4K10编辑于 2025-06-06 - 来自专栏AI技术应用
AI本地化部署的优势
AI本地化部署（On-Premise AI Deployment）指的是将AI模型、数据、基础设施和相关应用程序全部部署在企业自己的服务器、数据中心或边缘设备上，而不是依赖于第三方云服务提供商。 性能与延迟低延迟： AI推理和数据处理在本地进行，无需通过互联网传输数据到云端，大大减少了网络延迟。这对于需要实时响应的应用（如自动驾驶、工业自动化、实时欺诈检测、高频交易）至关重要。 资源利用率最大化： 如果企业已经拥有或计划购买昂贵的AI专用硬件（如GPU），本地部署可以确保这些投资得到充分利用，而不是按照云服务商的计费模型按小时计费。 离线能力与边缘计算离线运行： 在网络连接不稳定或无网络连接的环境中，本地部署的AI系统仍然可以独立运行，例如在远程油田、偏远地区的工厂、或车载系统中。 总结AI本地化部署的优势主要体现在数据主权、安全性、性能、低延迟、长期成本控制以及高度的定制化和集成能力。这些优势使得它成为许多对安全、性能和合规性有严苛要求的企业或特定行业应用场景的首选方案。
1.6K11编辑于 2025-06-06 OpenClaw 本地 AI 智能体全解析
OpenClaw 本地 AI 智能体全解析告别“只聊天不做事”：OpenClaw 本地 AI 智能体全解析（原理、部署与实战）在 AI 工具遍地开花的当下，你是否还在烦恼大模型只能“输出文字”，却无法真正替你完成操作系统 2026 年爆火的开源项目 OpenClaw（国内俗称“龙虾”），彻底打破了这一局限——它不是另一个对话机器人，而是一款本地优先、模型无关、能真正落地执行任务的 AI 智能体执行网关，能让 AI 像“真人 本文将从核心定位、架构原理、安装部署、实战场景到避坑指南，全方位拆解 OpenClaw，帮你快速上手，打造专属的“本地 AI 数字员工”。一、核心认知：OpenClaw 是什么？ 六、总结与未来展望OpenClaw 不是“又一个 AI 聊天工具”，而是真正实现了从“语义理解”到“任务执行”的跨越，兼顾本地隐私、灵活扩展、跨平台适配三大核心优势，完美解决了传统 AI“只聊天不做事” 2026 年，随着本地 AI 需求的爆发
1.1K20编辑于 2026-03-11Docker本地部署Crawl4AI
之前本地部署的firecrawl无法正常运行了，于是今天来部署github另外一个高star的爬虫项目：Crawl4AI# Pull the release candidate (recommended for latest features)docker pull unclecode/crawl4ai:0.6.0-r1# Or pull the latest stable versiondocker pull unclecode/crawl4ai:latest如果要使用LLM，准备一个.llm.env文件# Create a .llm.env file with your API keyscat \ --shm-size=1g \ unclecode/crawl4ai:latestWith LLM support:# Make sure .llm.env is in the current \ unclecode/crawl4ai:latest配置部署成功http://10.213.151.220:11235
1.1K10编辑于 2025-06-13- 来自专栏AI技术应用
AI大模型本地化部署
AI大模型本地化部署是将大规模人工智能模型（如GPT、LLaMA、DeepSeek等）部署到本地服务器或设备上，以满足数据隐私、安全性和性能需求的过程。 以下是AI大模型本地化部署的关键步骤、技术难点及解决方案。一、本地化部署的关键步骤1.需求分析与规划 明确应用场景（如智能客服、文本生成、图像识别等）。评估本地硬件资源（GPU、内存、存储）和预算。 三、本地化部署的优势数据隐私与安全：避免敏感数据上传云端，降低泄露风险。成本效益：长期使用可能比云服务更经济。性能优化：本地部署可提供更低延迟和更高吞吐量。 企业级应用：浪潮计算机推出“推理一体机”，支持多行业快速部署AI能力。五、未来趋势软硬协同：更多“开箱即用”的一体化解决方案将涌现。国产化适配：国产AI算力和模型（如DeepSeek）将加速普及。 通过以上步骤和解决方案，AI大模型本地化部署可以更好地满足行业需求，推动AI技术的广泛应用。
3.6K10编辑于 2025-03-08 - 来自专栏AI技术应用
AI 本地化部署的详细方案
AI 本地化部署（On-Premise AI Deployment）指的是将 AI 模型、数据、基础设施和相关应用程序部署在企业自己的服务器、数据中心或边缘设备上，而不是依赖于第三方云服务提供商。 以下是 AI 本地化部署的详细方案：一、前期规划与需求分析明确用例和目标： 部署哪个 AI 模型（LLM、CV 模型、推荐系统等）？ 解决什么业务问题？ 期望的性能指标（延迟、吞吐量、准确性）？ 数据存储与管理： 配置本地文件系统或分布式存储。 如果使用向量数据库，进行安装和配置。 本地化部署的优缺点：优点： 数据隐私和安全性： 数据不离开企业防火墙，满足严格的合规性要求。 完全控制： 对硬件、软件和 AI 环境拥有完全控制权，可深度定制。 AI 本地化部署是一个复杂的项目，但对于那些拥有敏感数据、严格合规要求和强大 IT 基础设施的企业来说，它提供了无与伦比的控制力、安全性和定制化能力。
4.1K10编辑于 2025-06-06 - 来自专栏编码如写诗
深入理解moltbot(Clawdbot) 本地 AI 助理
什么是 Clawdbot Clawdbot 是一个开源的个人 AI 助理系统,它运行在本地设备上,通过主流通讯平台(如 Telegram、WhatsApp、Slack 等)与用户交互。 与传统云端 AI 不同,Clawdbot 采用"本地优先"(Local-first)架构,所有数据处理和记忆存储都在你的设备上完成,确保了数据的隐私性和安全性。 它就像一座桥梁,将用户的指令转发给本地 AI 模型,并将执行结果返回给用户。 2. MCP 技能系统 MCP(Model Context Protocol)是 Clawdbot 的核心创新之一。 随着技术的进步,我们可以期待以下发展: 更强大的本地推理能力: 随着本地 AI 模型的性能提升,Clawdbot 将能够在不联网的情况下完成更多复杂任务 更丰富的技能生态: 社区贡献的技能将覆盖更多应用场景 通过本地化部署和强大的执行能力,它为我们展示了一个充满可能性的未来:AI 不再只是一个问答工具,而是能够融入我们的工作流,帮助我们完成各种任务的智能伙伴。
49510编辑于 2026-02-03 - 来自专栏AI技术应用
AI大模型的本地化测试
AI大模型本地化测试是确保模型在本地环境中能够正常运行、满足性能要求并符合预期功能的关键步骤。以下是AI大模型本地化测试的详细流程和方法。 一、测试目标功能验证：确保模型在本地环境中能够完成预期任务（如文本生成、分类、翻译等）。性能评估：测试模型的推理速度、资源占用和吞吐量。稳定性检查：验证模型在长时间运行和高负载下的稳定性。 4.兼容性测试测试内容：验证模型与本地硬件、操作系统和依赖库的兼容性。测试方法：在不同硬件配置和操作系统上运行模型。检查依赖库版本是否兼容。 六、实际案例1.DeepSeek本地化测试：在医疗场景中，测试DeepSeek模型的病历翻译和临床辅助决策功能。验证模型在高并发请求下的稳定性和响应速度。 2.Llama本地化测试：测试Llama模型在本地设备上的推理性能。检查模型对多语言输入的处理能力。通过以上测试流程和方法，可以确保AI大模型在本地化部署后能够稳定、高效地运行，并满足实际应用需求。
62200编辑于 2025-03-08 - 来自专栏信安百科
国产AI神器Deepseek，本地离线使用教程！
选择下方的按钮“使用自己的API Key或本地模型”选项。 弹出的页面中选择“Ollama API”，自动跳转下一步。 在跳转的页面里面选择模型，直接保存，完成。 https://www.deepseek.com/ 推荐阅读： 【漏洞复现】CVE-2023-38831 WinRAR代码执行漏洞 注册ChatGPT拥有属于自己的AI
68111编辑于 2025-07-30 - 来自专栏AI技术应用
AI大模型的本地化部署
AI大模型的本地化部署，是将原本在云端运行的大型人工智能模型，转移到本地的硬件设备上运行。这种部署方式，在数据隐私、网络延迟、成本控制等方面，都有着重要的意义。 以下是关于AI大模型本地化部署的一些关键方面。1. 本地化部署的优势：数据隐私： 本地部署可以最大限度地保护敏感数据，避免数据在传输和存储过程中泄露的风险。 低延迟： 本地运行模型，可以减少网络延迟，提高响应速度，对于实时性要求高的应用尤为重要。成本控制： 长期来看，本地部署可以减少对云服务的依赖，降低运行成本。 安全问题： 本地化部署需要注意本地设备的安全，防止模型被恶意使用。3. 本地化部署的关键技术：模型量化： 通过降低模型的精度，减小模型的大小，提高运行速度。 总而言之，AI大模型的本地化部署，是一项具有挑战性但也充满机遇的技术。随着硬件资源的不断提升和模型优化技术的不断发展，本地化部署的应用前景将更加广阔。
1.6K10编辑于 2025-03-10 - 来自专栏云云众生s
JetBrains推出本地运行的AI代码补全
人工智能驱动的全新代码补全工具旨在将代码保留在本地，从而降低受监管行业的安全性问题。 JetBrains 在其 IDE 中提供全行代码补全功能，这要归功于在本地机器上运行的 AI 模型，因此无需将代码发送到场外。 您在本地计算机上运行一个不太大但很智能的语言模型，所有操作都在本地进行。”“这非常重要，因为并非所有人都愿意将自己的代码共享到云端。” 该公司表示，AI 助手还提供了改进的测试生成和云代码补全、提交消息的自定义提示、从 AI 聊天创建文件以及更新的编辑器内代码生成功能。 RubyMine 可以执行当前产品本地 SDK 中的 VCS 命令。
87210编辑于 2024-04-09 - 来自专栏AI
AI本地化大模型的维护
AI本地化大模型的维护是确保模型在部署后能够持续高效运行、适应新需求并保持安全性和稳定性的关键环节。以下是AI本地化大模型维护的主要内容和方法。一、维护目标1.性能优化：确保模型在长期运行中保持高效。 通过以上维护内容和方法，可以确保AI本地化大模型在长期运行中保持高效、安全和稳定，满足实际应用需求。
60110编辑于 2025-03-08 LocalAPI.AI Desktop：本地AI交互新体验，全面升级！
LocalAPI.AI Desktop 最新版本(v0.3.0)已经发布！这是一款在浏览器运行的AI客户端工具，为开发者和爱好者提供了一个便捷的交互平台。无论是本地操作还是远程接入，它都能轻松搞定。 聊天记录会保存在本地浏览器，方便随时查看。 多语言支持：界面支持多种语言切换，满足不同用户的需求。 图片 全平台支持，一键启动 新版本支持多种操作系统，适配性超强。 远程接入，无缝连接 除了本地功能，现在还支持远程服务接入，包括国内的 Deepseek、kimi，以及国外的 x.ai、OpenAI、OpenRouter、GitHub 等平台。 本地功能，强大实用 本地模型管理功能也进行了优化，操作更高效。 模型管理：支持模型的复制、删除、拉取、更新和创建，还支持模型量化。 参数设置：灵活调整参数，满足不同需求。 在线体验 访问 LocalAPI.ai 在线体验 最新版本信息 最新版本：LocalAPI.AI-Desktop V0.3-beta 下载与安装 更多版本请访问 GitHub Releases 页面。
28910编辑于 2025-05-29- 来自专栏软件测试学习
本地文件与RAG技术：助力AI问答升级
当我们问ai一些专业术语或者公司的一些特定的名词之类的相关信息时，AI就算能联网搜索，往往给出的回答也不尽如人意，在这个基础上，运用RAG技术就可以有效的解决这一问题： 核心代码如下： 要在本地运行代码 ，需要在本地安装嵌入模型。 LlamaIndex支持很多调用嵌入模型的方式，大家可以看看官网的介绍： https://docs.llamaindex.ai/en/stable/api_reference/embeddings/ 这里我们在本地使用nomic-embed-text模型： ollama pull nomic-embed-text:latest 如果不下载这个模型的话，运行代码会报下面的错： 至于ollama 怎么安装和下载可以参考文章 ：Ollama搭配DeepSeek，本地部署全攻略 接下来我们运行代码提问： 注意事项： 1、在 LlamaIndex 中，通过嵌入模型解析文件后的结果通常是嵌入向量的形式，把文本信息转换为了数字： 提问时将问题转换为数字
33910编辑于 2025-02-19 腾讯云 AI 代码助手: Codebase 本地工程检索
随着人工智能技术的不断进步，AI 代码助手已经成为提升开发效率、优化代码质量的重要工具。腾讯云 AI 代码助手，凭借其对工程实践的深刻理解，让 AI 更加懂得如何与工程实践相结合。 本文将探讨腾讯云 AI 代码助手如何让 AI 更懂工程，以及它在实际项目中的应用。 ，常见的针对工程理解的集中包含：codebase建立本地工程的检索能力，旨在通过对本地工程的 embedding 向量化建立索引并缓存，用户在提出问题后基于索引可以对本地工程相关内容进行分析匹配后精准召回相符的内容信息并丰富上下文 AI 工程理解在代码工程的应用codebase本地工程检索能力进行强化工程理解能力， codebase 的使用会进行两个部分构成 ：第一，把问题提示词上附带当前工程目录与模型进行交互，获取关键词；第二， 让 AI 更懂工程。随着 AI 技术的不断进步，腾讯云 AI 代码助手将继续引领软件开发的未来，帮助开发者构建更好的软件；
99110编辑于 2025-01-22- 来自专栏AI技术应用
AI大模型本地化部署的流程
本地化大模型的步骤通常包括以下几个关键环节。1.需求分析明确目标：确定本地化大模型的具体用途，如文本生成、翻译、问答等。资源评估：评估本地硬件资源（如GPU、内存、存储）和预算。 5.模型训练微调模型：在本地数据上微调预训练模型。超参数调优：调整学习率、批量大小等超参数。分布式训练：如果数据量大，考虑分布式训练。6.模型评估性能评估：使用验证集评估模型性能。 8.部署本地部署：将模型部署到本地服务器或边缘设备。API接口：提供RESTful API或gRPC接口供其他应用调用。9.监控与维护性能监控：持续监控模型性能。模型更新：定期更新模型以保持最佳性能。 通过这些步骤，可以成功在本地环境中部署和运行大模型，满足特定需求。
1.3K10编辑于 2025-03-08 - 来自专栏AIGC探究
AI数字绘画:stable-diffusion 本地部署教程
前言目前AI绘画最牛的软件就两款，一个Midjourney（收费，最低也得一个月10美刀，需要科学），另一个叫stable-diffusion，而Stable Diffusion开源免费，不受网络限制， 今天就给大家带来Stable Diffusion安装教程，喜欢玩AI绘画的，可以了解一下。电脑配置最核心的关键点：看显卡、看内存、看硬盘、看CPU。 内存查看高手简易教程1.安装前置软件Gitpython注意安装时要勾上“把Python添加到路径”2.克隆项目到本地建立一个本地专用文件夹执行:git clone https://github.com/ 安装模型默认只有一个模型，在启动器模型管理页面可以看到，本地打勾代表才能使用，其他的模型需要下载才能使用。
1.7K00编辑于 2023-07-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号