- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI技术应用
大模型本地化部署的应用场景
大模型本地化部署，因其在数据隐私、低延迟、成本控制等方面的优势，在多个领域展现出广泛的应用前景。以下是一些主要的应用场景。1. 实时对话系统： 在本地设备上运行对话模型，实现快速响应和自然的交互体验。3. 离线运行型应用：军事领域： 在没有网络连接的战场环境中，使用本地部署的AI模型进行情报分析、目标识别等。 定制化与控制型应用：企业内部应用： 企业可以根据自身需求，定制和优化本地部署的AI模型，实现个性化的业务应用。科研领域： 研究人员可以在本地设备上进行模型训练、测试和调试，提高科研效率。 个人用户： 个人用户可以在本地设备上，运行自己偏好的大语言模型，对本地文档进行隐私的查询，或者进行各种本地化的AI功能。5. 智能城市： 在本地节点上处理交通数据、环境数据，实现智能交通、智能环保等。总而言之，AI大模型本地化部署的应用场景非常广泛，并且随着技术的不断进步，其应用范围还将进一步扩大。
97110编辑于 2025-03-11 - 来自专栏人工智能应用
大模型本地部署与应用调用的技术指南
本地部署大模型是指将预训练好的语言模型下载到本地设备（个人电脑、服务器或边缘设备）上，并通过特定的推理框架进行加载和调用的过程。 本文将帮助您克服这些挑战，实现大模型的高效本地部署。 ： Transformers：4.30.0或更高版本 bitsandbytes：0.39.0或更高版本（用于量化） 主流开源大模型介绍 目前主流的开源大模型包括： 1. ，本地部署方案也在不断演进： 硬件专用化：更多针对LLM推理优化的专用硬件将进入市场 部署标准化：更成熟的部署框架和标准将简化部署流程 多模态融合：本地部署将扩展到文本、图像、音频等多模态模型 结语 本地部署大模型为个人开发者和企业提供了一种灵活 随着开源模型质量的提升和部署技术的成熟，本地LLM应用将变得越来越普及。希望本指南能帮助您成功部署自己的大模型应用，探索AI技术的无限可能。
3.7K10编辑于 2025-08-01 - 来自专栏大模型应用
大模型应用：大模型的本地 API 服务：FastAPI 封装与接口鉴权.44
核心概念大模型本地 API 服务：把本地电脑或服务器上的大模型，变成一个 "可随时呼叫的工具人"。不用连云端，本地就能通过指令调用它干活，数据全程不泄露。 大模型本地运行原理前提：本地设备（电脑/服务器）已安装大模型，如 Llama 2、Qwen 等开源模型，并能通过 Python 脚本运行。 核心：模型加载到本地内存，通过代码调用其推理接口，生成结果，比如输入 "写一段文案"，模型返回文案内容。 流程：流程说明：1. 服务启动：FastAPI应用开始运行2. 单例模式：确保整个应用中只存在一个模型实例，减少内存占用2. FastAPI 封装原理加载大模型：启动服务时，把大模型加载到内存，避免每次调用都重新加载，提速。 掌握其调用逻辑，既能快速验证API功能完整性，也能为后续业务系统对接提供安全的鉴权参考，是本地大模型API落地应用的重要基础。
48153编辑于 2026-03-13 - 来自专栏大模型应用
大模型应用：大模型参数调优：结合本地模型对比多种组合探索差异.7
引言 在大模型的应用中，参数调优是连接模型潜力与实际效能的关键桥梁。与传统的软件参数不同，大模型的生成参数更像是一组精密的调控旋钮，它们不改变模型的基础知识，而是影响模型如何思考和表达。 理解这些参数的本质，不仅能够提升模型输出的质量，更是将大模型从玩具转变为工具的关键一步。 今天我们将从理论基础到实践应用，全面解析大模型的核心参数体系，详细的介绍大模型推理中常用的参数项，并通过本地模型示例展示参数调整对模型效能的影响。常见参数项：max_length：生成文本的最大长度。 重复：直到生成结束标记或达到最大长度三、本地模型组合参数验证 接下来将结合本地的Qwen1.5-1.8B-Chat模型测试在不同生成参数（如温度、top-p、top-k、重复惩罚等）系统性地评估不同生成参数对模型输出质量的影响 分步调优流程图五、总结 大模型的参数调优本质上是在控制与释放之间寻找平衡的艺术。
73432编辑于 2026-02-04 - 来自专栏大模型应用
大模型应用：基于本地大模型的中文命名实体识别技术实践与应用
随着大模型技术的快速发展，基于本地部署的大模型在NER任务中展现出显著优势。 本文通过两个典型示例——通用领域中文NER和医疗领域专用NER，深入探讨本地大模型在实际应用中的技术实现和性能表现。 本地大模型相比云端API具有数据安全、响应速度快、可定制性强等优势。 特别是在医疗、金融等敏感领域，本地部署能够确保数据不离开企业环境，满足严格的合规要求。同时，本地模型支持针对特定领域进行微调，显著提升在专业文本上的识别准确率。 按类型分组 └── 统计分析 ↓ 临床信息评估 ├── 疾病识别 ├── 症状识别 ├── 药物识别 └── 检查识别 四、总结 基于本地大模型的命名实体识别技术在实际应用中展现出显著优势 本地部署不仅解决了数据隐私和合规性问题，还通过领域自适应大幅提升了专业场景的识别精度。这种技术路径为各行业的NER应用提供了可靠的技术方案，具有广阔的推广应用前景。
44032编辑于 2026-01-29 - 来自专栏大模型应用
大模型应用：多模态图文精准识别：基于本地化OCR模型应用实践.78
一、引言 在OCR技术从传统字符匹配向大模型多模态融合演进的当下，图片理解作为多模态技术的核心支柱，其重要性愈发凸显。 2B 超轻量参数量，本地 CPU/GPU 均可流畅运行，基于多模态大模型的理解能力实现高精度图文识别，今天我们结合详细的应用示例一探究竟。 、多模态 OCR 核心工作原理 Qwen2-VL-OCR-2B-Instruct作为视觉 - 语言多模态大模型，其OCR识别逻辑与传统 OCR、单纯的大模型OCR有本质区别，核心是“视觉感知 输入图片 {"type": "text", "text": prompt} # 输入自然语言识别指令 ] } ] # 应用模型的对话模板 六、总结 今天我们基于本地OCR模型构建了一个可直接落地的轻量多模态 OCR 智能体，这款模型的核心价值在于将多模态大模型的语言理解能力与 OCR 的视觉识别能力深度融合，既解决了传统 OCR
27933编辑于 2026-04-16 - 来自专栏大模型应用
大模型应用：大模型本地部署的磁盘空间优化：模型分片存储与按需加载.48
一、引言 在大模型本地化应用的浪潮中，硬件门槛高始终是阻挡在我们面前的一道鸿沟，动辄数十 GB 的模型参数文件，足以让多数个人电脑的磁盘捉襟见肘，更遑论显存不足导致的加载失败。 为了破解这一难题，模型分片存储与按需加载成为大模型本地部署磁盘空间优化的核心方案。 而普通个人电脑的固态硬盘容量通常在 512GB~2TB 之间，单独存放一个大模型就会占用大量空间，更别说同时部署多个模型或运行其他应用了。2. 总体来说：分片存储是物理上切分文件，解决磁盘空间不足的问题；按需加载是逻辑上动态调用，解决内存或显存不足的问题，两者结合是大模型本地部署的空间优化黄金组合。 总的来说，这套方法不用高端电脑，对部署大模型又有了新的扩展和选择，实操时可能会遇到各种版本兼容性问题，交给AI编程工具可以协作我们解决，同时运行过程种要注意路径和权限问题，逐步摸索，现在各种智能工具也大大降低了我们大模型本地使用的门槛
39744编辑于 2026-03-17 - 来自专栏大模型应用
大模型应用：大模型本地部署实战：从零构建可视化智能学习助手.2
topic: str) -> Dict: """学习示例生成方法""" # 实现结构化内容生成我们首先需要明确LocalLearningAssistant类的核心作用：它负责加载大模型 with gr.Blocks(theme=gr.themes.Soft()) as demo: # 标题区域 gr.Markdown("# 大模型本地部署 学习助手五、总结 这个项目成功实现了在消费级硬件上部署智能学习助手，基于Qwen1.5-1.8B大模型在CPU环境稳定运行。 """加载本地模型""" try: logger.info(f"正在加载模型: {self.model_name}") AI学习助手") as demo: gr.Markdown("# 大模型本地部署AI学习助手") gr.Markdown("基于本地大模型的智能学习助手 -
29632编辑于 2026-01-30 - 来自专栏.Net Core技术分享
Ollama本地部署大模型总结
ollama run deepseek-r1:1.5b 下载完成后，ollama会为我们运行刚下载的大模型。下面是我运行成功的截图： 第三步：使用大模型 恭喜你已经在本地成功安装了第一个私有大模型。 安装完成后打开，你会看到一个聊天窗口： 使用ollama中的大模型 我们在上一篇中在本地安装了ollama和deepseek，现在我们把它集成到刚安装的chatbox中。 和本地大模型对话 点击左侧新对话，开启新的对话。 向大模型提问试试吧 创建智能体 恭喜你已经完成了ollama和chatbox的集成，现在你的对话数据都保留在本地，绝对的安全和隐私。 Token：字符块，是大模型的最小输出单位，同时也是大模型的计费单位。 在内容生成API中，我们仅传入了prompt，大模型仅对我们本地的prompt进行回答，而在生成对话API中，我们还可以传入messages参数，包含我们多轮对话内容，使大模型具备记忆功能。
4.8K11编辑于 2025-03-30 - 来自专栏AllTests软件测试
本地部署AI大模型DeepSeek
DeepSeek是一家专注于人工智能技术的公司（中国杭州深度求索）及其推出的大语言模型的名称。 DeepSeek的核心产品，是一系列强大的大语言模型。 官方网址： https://www.deepseek.com/ 本篇讲解如何快速的在本地部署AI大模型DeepSeek。 2、本地部署DeepSeek 1、首先要下载安装Ollama。 本地运行，让用户可在本地设备上运行大型语言模型，无需网络连接也能使用部分功能。 官方网址： https://ollama.com/ 快速上手使用大语言模型。 它支持多种大语言模型运行程序，如Ollama和兼容OpenAI的应用程序编程接口（API），还内置了用于检索增强生成（RAG）的推理引擎，使其成为一个强大的人工智能部署解决方案。
78510编辑于 2025-02-10 - 来自专栏开源项目搭建
简单3步部署本地国产大模型DeepSeek大模型
简单3步部署本地国产大模型DeepSeek大模型DeepSeek是最近非常火的开源大模型，国产大模型 DeepSeek 凭借其优异的性能和对硬件资源的友好性，受到了众多开发者的关注。 本文将介绍如何通过简单 3 步在本地部署 DeepSeek 大模型，让你能够轻松体验这一强大的 AI 工具。 影响社会文化领域改变工作生活方式：在自然语言处理等方面的能力，可提高翻译、写作、代码生成等工作效率，在制定旅行攻略、翻译外语等日常生活场景中也广泛应用。 deepseek-r1的哪个版本的大模型？ 这些不同规模的模型在模型能力、资源需求和应用场景上有所不同。
6.3K33编辑于 2025-02-06 - 来自专栏张高兴的博客
大模型开发实战：（二）使用 LangChain 构建本地知识库应用
下面将介绍使用 LangChain 和 Ollama 实现一个本地知识库应用。 基础概念 什么是 LangChain LangChain 是一个大语言模型（LLM）编程框架，其目的是简化基于大语言模型的应用开发，统一不同大模型的调用方式，开发者无需关心底层 API 差异。 什么是 Ollama Ollama 是一个开源的本地大语言模型运行框架，其目的是简化在本地设备上部署和运行大型语言模型的流程。 如果将大模型通过词条查找内容的过程比作查字典，那么文本向量化就是在编写字典。这里使用向量化的一种方式—— Embedding（嵌入），能够使向量捕捉词语之间的语义关系、语法相似性等信息。 OllamaEmbeddings 是一个大语言模型的 Embedding 工具，将文本数据转换为向量表示，以便于后续的检索和生成。
3.1K21编辑于 2025-05-21 - 来自专栏大模型应用
大模型应用：本地大模型部署中的Token效率优化与性能分析.9
引言 在大模型应用日益普及的今天，对模型交互过程中Token消耗的深入理解和有效管理变得至关重要。 Token作为大模型处理文本的基本单位，不仅直接关系到模型的响应速度和质量，更影响着计算资源的消耗和使用成本。 今天我们基于本地部署的Qwen1.5-1.8B-Chat模型，通过构建完整的Token监控与分析系统，深入探讨了模型交互过程中的Token消耗模式、优化策略及实践应用。 随着模型规模的不断扩大和应用场景的多样化，如何在不牺牲对话质量的前提下优化Token使用效率，已成为提升大模型应用经济性和实用性的关键问题。 ，确保系统在不同硬件环境下的可用性通过持续的技术迭代和优化，我们相信Token效率优化将在推动大语言模型普惠应用方面发挥越来越重要的作用。
58243编辑于 2026-02-06 - 来自专栏程序那些事
MoneyPrinterPlus全面支持本地Ollama大模型
之前支持的大模型是常用的云厂商，比如OpenAI,Azure,Kimi,Qianfan,Baichuan,Tongyi Qwen, DeepSeek这些。 支持云厂商的原因是现在大模型使用基本都很便宜，并且大厂的稳定性，性能都比本地搭建要好很多。 但是很多小伙伴说还是希望接入本地的LLM模型。 你可以在Ollama中接入你想要使用的大模型。 下面告诉大家如何在MoneyPrinterPlus中使用本地的Ollama模型。 我们可以使用 ollama list 来查看现有的模型。 如果要下载对应的模型，可以ollama pull llama3从Ollama的模型注册表中拉取指定的模型到本地。 在MoneyPrinterPlus中配置Ollama 我们启动MoneyPrinterPlus,点击左边的基本配置，在右边的LLM大模型配置项中，我们下拉选择Ollama。
34110编辑于 2024-07-16 - 来自专栏微言码道
本地部署大模型的几种方式
相较于其它一些方式, 有一定的编程或技术上的门槛, Ollama可以说是把本地部署大模型这个以前有点技术含量或难度的事情完全傻瓜化了. 就算你是一个编程的门外汉, 都可以轻松的使用Ollama来部署一个本地大模型. 我在这里以最新的Llama 3来举例说明如何运行一个本地大模型. 如果你想编程式的部署与使用一些开源的大模型, 那使用Hugging Face提供的类库, 当前几乎是唯一的选择. GPTAll 和前面几种方式不同的在于, GPTAll是一个有UI的AI应用程序. 总结 开源大模型, 或者说本地化运行一个开源大模型, 现在已经越发的简单与低门槛了. 只要有足够的GPU硬件, 本地化部署与运行开源大模型非常简单及易于实现. 想部署一个本地大模型玩玩? 今天, 私有化本地部署一个大模型早已不是什么有门槛或技术含量的工作了, 对于那些追赶AI热潮的人来说, 找到AI对你业务实现的价值可能才是更具挑战的事情.
8.6K21编辑于 2024-04-23 - 来自专栏JAVA乐园
大模型系统dify本地源码启动
下载源码 git clone https://github.com/langgenius/dify.git 在启用业务服务之前，需要先部署 PostgreSQL / Redis / Weaviate（如果本地没有的话 访问 Dify 最后，访问 http://127.0.0.1:3000 即可使用本地部署的 Dify。 6. 总结 在安装、启动过程过程中会遇到不少确实依赖库的情况，多用以下命令进行依赖安装即可。
1.3K00编辑于 2025-03-17 - 来自专栏程序那些事
MoneyPrinterPlus全面支持本地Ollama大模型
之前支持的大模型是常用的云厂商，比如OpenAI,Azure,Kimi,Qianfan,Baichuan,Tongyi Qwen, DeepSeek这些。 支持云厂商的原因是现在大模型使用基本都很便宜，并且大厂的稳定性，性能都比本地搭建要好很多。 但是很多小伙伴说还是希望接入本地的LLM模型。 你可以在Ollama中接入你想要使用的大模型。 下面告诉大家如何在MoneyPrinterPlus中使用本地的Ollama模型。 我们可以使用 ollama list 来查看现有的模型。 如果要下载对应的模型，可以ollama pull llama3从Ollama的模型注册表中拉取指定的模型到本地。 在MoneyPrinterPlus中配置Ollama 我们启动MoneyPrinterPlus,点击左边的基本配置，在右边的LLM大模型配置项中，我们下拉选择Ollama。
41610编辑于 2024-07-15 - 来自专栏Python与算法之美
Ollama 本地CPU部署开源大模型
Ollama可以在本地CPU非常方便地部署许多开源的大模型。 如 Facebook的llama3, 谷歌的gemma, 微软的phi3，阿里的qwen2 等模型。 完整支持的模型列表可以参考：https://ollama.com/library 它基于llama.cpp实现，本地CPU推理效率非常高（当然如果有GPU的话，推理效率会更高）, 还可以兼容 openai ollama run qwen2 #跑qwen2模型，如果本地没有，会先下载 ollama pull llama3 #下载llama3模型到本地 ollama list #查看本地有哪些模型可用 ollama rm #删除本地的某个模型 ollama help #获取帮助 ! import OpenAI client = OpenAI( base_url='http://localhost:11434/v1/', api_key='ollama', #实际上本地模型不需要
3.8K11编辑于 2024-06-26 大模型——如何本地跑通一个大模型
前言这里主要借助两个开源项目 ollama 和 openwebui 这两个项目，来尝试本地跑通llama3.1 8b 、 mistral-nemo 12b 和 qwen2 7b 这些模型，再大的模型机器也撑不住了 openwebui.com/openwebui GitHub：https://github.com/open-webui/open-webui安装ollama访问 ollama 网站，根据自身的平台来下载应用 ，下载后正常安装即可，安装完成后运行命令来拉取模型，模型可访问 ollama Models 选择相应的模型后，会有对应的命令，终端执行即可。 qwen2.5$ ollama run qwen2.5:7b## mistral-nemo$ ollama run mistral-nemo:12b安装openwebui因为我的 ollama 是在本地的 ，创建好对应的账号登录后，访问界面如下：总结总的来说，现在基于开源的项目，我们能够很快的搭建一个自己本地使用的模型，当前如果你不存在数据安全的问题，使用国内或国外的最新的大模型体验肯定更好。
80110编辑于 2024-09-23- 来自专栏陈冠男的游戏人生
使用ollama本地部署开源大模型
chatGPT 刚出来没多久的时候，openai 时不时的限制使用频率，当时我想要是能本地部署一个大模型，无限制的使用该多好哇。 后来有很多团队/公司陆陆续续在 github 开源了他们自己训练的大模型，但是部署使用的操作门槛比较高，曾经试图部署过一个，报了几个错也没时间折腾就放弃了 前几天我发现了一个叫 ollama 的项目，根据介绍 ，一条命令就能跑起来一个大模型，因此实际体验了一下，项目地址： https://github.com/ollama/ollama 先说一下使用体验，极其丝滑，完全没有报错，感觉就像是刚开始学 web 安全 此外，你还可以配合翻译插件进行本地AI翻译，openai-translator 这个项目原本是使用在线模型的 API 进行翻译的，但目前也支持了 ollama，项目地址： https://github.com /openai-translator/openai-translator 直接去 release 下载安装包后运行，在设置中选择本地大模型，并选择 API 模型为你已经下载好的本地模型保存即可 使用效果
3.1K20编辑于 2024-03-05
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号