- 综合排序
- 最热优先
- 最新优先
- 来自专栏MavenTalk
快速部署ChatGLM-6B大模型实战总结
近期，IT界掀起了大模型的热潮，各种百模争霸的局面出现。 然而，当开源的大模型 ChatGLM 面世时，我却遇到了一些困扰，但幸运的是，腾讯云给了我一个难得的机会。 下载模型文件 https://github.com/THUDM/ChatGLM-6B 官方网站 从ChatGLM的官方库中下载，将模型文件我放到工程的 ChatGLM-6B/THUDM 目录下面。 huggingface.co/THUDM/chatglm-6b 模型文件比较大(25G)，这里下载需要的时间很长，请耐心等待，以下是目录下载后模型目录下的文件： 测试 终端运行 Demo 进入ChatGLM server.port 27777 --server.address 0.0.0.0 执行成功的效果如下： 打开浏览器可见到如下界面： 跟它对话一下，看看效果： —扩 展 阅 读— 正在发生或即将发生的AI大模型应用
2K20编辑于 2023-09-06 《告别部署难题！场景化拆解 AI 模型落地的 6 大核心考量》
从训练好的模型文件到稳定可用的业务服务，部署环节直接决定 AI 技术的落地效果 —— 既能让大模型在电商大促中支撑万级 QPS，也可能因一次冷启动延迟错失用户。 尤其在腾讯云等企业级云环境中，部署方案的优劣更会放大为成本差异与体验鸿沟。本文结合行业实践与腾讯云本地化部署经验，拆解模型部署必须攻克的六大关键因素。 搜一下微信公粽号：AI模型API聚合-向量引擎 一、需求锚定：以业务目标定义部署边界 部署的核心是 “适配需求” 而非 “追求技术完美”，需先明确三大基础问题： 性能约束：实时对话需响应延迟＜500ms 结语：部署的本质是 “价值工程” AI 模型部署的核心不是堆砌技术，而是在性能、成本、合规、体验间找到最优解。 未来，随着边缘计算与大模型的深度融合，部署将向 “云边协同”“极致轻量化” 方向演进。但无论技术如何迭代，锚定业务需求、平衡核心要素，始终是部署成功的关键。
65210编辑于 2025-09-24- 来自专栏开源项目搭建
简单3步部署本地国产大模型DeepSeek大模型
简单3步部署本地国产大模型DeepSeek大模型DeepSeek是最近非常火的开源大模型，国产大模型 DeepSeek 凭借其优异的性能和对硬件资源的友好性，受到了众多开发者的关注。 本文将介绍如何通过简单 3 步在本地部署 DeepSeek 大模型，让你能够轻松体验这一强大的 AI 工具。 GeForce RTX 4070Ti可以运行大模型deepseek-r1的哪个版本的大模型？ 提供了类似OpenAI的API接口和聊天界面,可以非常方便地部署最新版本的GPT模型并通过接口使用。支持热加载模型文件,无需重新启动即可切换不同的模型。 理论上就安装完成了，可以只在命令行中使用大模型了。修改路径文件保存路径可以不用改，如果C盘空间不够用，建议修改。
6.8K33编辑于 2025-02-06 - 来自专栏大模型&AIGC
6种大模型微调技术
这一发现尤为重要，因为大型模型的共享和部署成本高昂，而能够重用一个冻结的模型来执行多个下游任务可以减轻这一负担。 input和target，则使用原始的input embedding(5) 使用方式离散和连续template token混合时，显示地插入一下anchor（离散的token）有助于template的优化(6) ，无需verbalizer(4) 特点在小、大模型上，效果均优于P-tuning。 随着我们预训练更大的模型，全面微调（即重新训练所有模型参数）变得不太可行。以GPT-3 175B为例，部署独立的微调模型实例，每个实例都有175B参数，成本是极其昂贵的。 Model)，学习目标为而加入LoRA后，学习目标为：(6) 配置在多个部位$(Q/K/V/Output)$同时添加$\bigtriangleup W$ ，会比只在单一部分上添加权重$\bigtriangleup
3.1K00编辑于 2025-05-08 - 来自专栏机器学习与统计学
纯离线安装大模型推理引擎，部署量化大模型
大家好，我是 Ai 学习的老章 继续介绍大模型推理引擎+Llama.cpp，前文我写了# 内网部署 llama.cpp，运行量化大模型，详细介绍了 llama.cpp 这个推理引擎，内网离线 cmake 本文我们用个更省事儿的内网离线部署方式——Docker，然后用其部署量化大模型，其中踩坑若干，才有如此精炼、极简教程 1、联网环境拉取 llama.cpp 镜像并保存 选择镜像最好是官方，比如 llama.cpp server-cuda https://github.com/ggml-org/llama.cpp/blob/master/docs/docker.md 市面上有很多个人打包的镜像，大多都是阉割版 费老大劲搞进去，发现大模型无法加载 5、启动大模型 docker run --rm --runtime nvidia -e TZAsia/Shanghai --gpus "device=2" -v /opt/data/ai/GGUF:/models server-cuda -m /models/gpt-oss-20b-F16.gguf --port 8000 --host 0.0.0.0 -c4096 -n 1024 -ngl 999 可以看到已经启动成功 6、
2.2K10编辑于 2025-10-11 - 来自专栏AllTests软件测试
本地部署AI大模型DeepSeek
DeepSeek是一家专注于人工智能技术的公司（中国杭州深度求索）及其推出的大语言模型的名称。 DeepSeek的核心产品，是一系列强大的大语言模型。 官方网址： https://www.deepseek.com/ 本篇讲解如何快速的在本地部署AI大模型DeepSeek。 2、本地部署DeepSeek 1、首先要下载安装Ollama。 Ollama是一个开源的大型语言模型本地部署框架。 特点： 多平台支持，如Windows、macOS、Linux，还支持Docker，方便跨平台部署。 它支持多种大语言模型运行程序，如Ollama和兼容OpenAI的应用程序编程接口（API），还内置了用于检索增强生成（RAG）的推理引擎，使其成为一个强大的人工智能部署解决方案。
93410编辑于 2025-02-10 - 来自专栏小陈运维
使用Ollama部署deepseek大模型
使用Ollama部署deepseek大模型 前置条件 使用英伟达显卡下载cuda驱动 https://developer.nvidia.com/cuda-downloads Ollama Ollama 的安装方式去安装 若你的显卡是在Linux上面 可以使用如下命令安装 curl -fsSL https://ollama.com/install.sh | sh 当然Ollama不只是可以启动deepseek模型 ，也可以启动他的模型 https://ollama.com/search # 模型的安装命令 # 1.5B Qwen DeepSeek R1 # 所需空间大约 1.1G ollama run deepseek-r1
2.9K20编辑于 2025-02-04 - 来自专栏.Net Core技术分享
Ollama本地部署大模型总结
今天计划对之前ollama系列做个回顾，从如何部署到API使用，整理到一篇内容中，提供给大家参考。 ollama run deepseek-r1:1.5b 下载完成后，ollama会为我们运行刚下载的大模型。下面是我运行成功的截图： 第三步：使用大模型 恭喜你已经在本地成功安装了第一个私有大模型。 Token：字符块，是大模型的最小输出单位，同时也是大模型的计费单位。 举个例子，对于天空为什么是蓝色的这句话，大模型会进行拆分天空/为什么/是/蓝色/的，每一段就是一个token（实际情况会比这个例子复杂） 内容生成（/api/generate） 让大模型帮我们生成指定的内容 在内容生成API中，我们仅传入了prompt，大模型仅对我们本地的prompt进行回答，而在生成对话API中，我们还可以传入messages参数，包含我们多轮对话内容，使大模型具备记忆功能。
5.4K11编辑于 2025-03-30 - 来自专栏数据挖掘
大模型高效下载部署方式
下载模型sh hfd.sh gpt2 --tool aria2c -x 44.下载数据集sh hfd.sh wikitext --dataset --tool aria2c -x 4 二、国内魔塔社区下载下面以 cogvlm2-llama3-chinese-chat-19B 为例子SDK下载#模型下载from modelscope import snapshot_downloadmodel_dir = snapshot_download
79210编辑于 2024-07-15 - 来自专栏小陈运维
使用Ollama部署deepseek大模型
使用Ollama部署deepseek大模型前置条件使用英伟达显卡下载cuda驱动https://developer.nvidia.com/cuda-downloadsOllamaOllama 官方版: 的安装方式去安装若你的显卡是在Linux上面 可以使用如下命令安装curl -fsSL https://ollama.com/install.sh | sh当然Ollama不只是可以启动deepseek模型 ，也可以启动他的模型https://ollama.com/search# 模型的安装命令# 1.5B Qwen DeepSeek R1 # 所需空间大约 1.1Gollama run deepseek-r1
3.5K12编辑于 2025-01-26 - 来自专栏6G
6G，AI , 与大模型?
智能面：为原生AI应用提供全生命周期的支持，包括开发、部署和运行。 AI 业务实现与内生 AI 的融合 AI 业务的实现依赖于通信、计算、数据和模型服务的综合支撑，以及不同逻辑面之间的复杂协同机制。 6G与AI融合的未来方向 6G 网络的内生 AI 设计将赋能网络的AI大模型，同时使网络能够支持 AI 大模型的训练和服务。 6G 网络将承担数据采集、预处理等数据服务，为云AI训练提供更好的支持。此外，6G 网络的分布式部署将使得 AI 大模型更靠近用户侧，从而在时延方面具有潜在优势。 在数据获取和处理方面，与 ChatGPT 不同，网络中存在大量结构化数据，且网络不同问题间的共性不清晰，网络 AI 大模型面临较大挑战。6G 网络面临如何有效采集适合AI大模型训练的数据的挑战。 而在构建 AI 大模型的路径上，需要分阶段探索，从离线小规模模型开始，逐步过渡到实时大规模模型，最终实现统一的网络 AI 大模型。 本文摘自于中国移动的“6G内生AI架构及AI大模”汇报材料。
51110编辑于 2024-04-24 - 来自专栏陈冠男的游戏人生
使用ollama本地部署开源大模型
chatGPT 刚出来没多久的时候，openai 时不时的限制使用频率，当时我想要是能本地部署一个大模型，无限制的使用该多好哇。 后来有很多团队/公司陆陆续续在 github 开源了他们自己训练的大模型，但是部署使用的操作门槛比较高，曾经试图部署过一个，报了几个错也没时间折腾就放弃了 前几天我发现了一个叫 ollama 的项目，根据介绍 ，一条命令就能跑起来一个大模型，因此实际体验了一下，项目地址： https://github.com/ollama/ollama 先说一下使用体验，极其丝滑，完全没有报错，感觉就像是刚开始学 web 安全 ，此时就已经部署结束了 可以在：https://ollama.com/library 找到更多的模型 但是在命令行中直接交互里很多格式解析不出来，看起来怪怪的，可以使用 chatbot-ollama 这个项目部署一个 webUI，这样就可以在聊天框里面调用模型对话了，项目地址： https://github.com/ivanfioravanti/chatbot-ollama 这个项目部署起来也很简单，只要电脑上装有
3.2K20编辑于 2024-03-05 - 来自专栏GiantPandaCV
大模型部署框架 FastLLM 简要解析
前言 本文主要是对FastLLM做了一个简要介绍，展示了一下FastLLM的部署效果。 然后以chatglm-6b为例，对FastLLM模型导出的流程进行了解析，接着解析了chatglm-6b模型部分的核心实现。最后还对FastLLM涉及到的优化技巧进行了简单的介绍。 0x1. FastLLM chatglm-6b模型导出解析 首先解读一下FastLLM是如何导出huggingface的chatglm-6b模型的。 要在FastLLM中自定义一个模型，需要实现的核心部分就是这个模型文件了，从目前FastLLM提供的组件来看，基于Transformer架构的开源大模型支持的难度和工作量会比较小，而对于新的架构比如RWKV 比较期待FastLLM推出ONNX的支持，这样就可以更方便的和各种类型的大模型对接起来。 0x4.
1.5K20编辑于 2023-08-22 - 来自专栏微言码道
本地部署大模型的几种方式
这之中当然有诸如GhatGPT, Gemini这样的私有化大模型, 更吸引人关注的可能是开源的可私有化部署的一些大模型. 比如Meta前两天开放的Lamma 3, Google的Gemma开源模型, 国内也有Qwen以及YI等. 无论私有的大模型, 还是开源的可私有化部署的大模型, 各有优缺点. 相对而言, 一些开源的可私有化部署的大模型, 可能更令人关注. 因为只要有足够的硬件资源, 你就能私有化部署这些大模型. 今天我就介绍几种常见的, 方便的私有化大模型的方式, 这些方式都是开源或免费的. 私有化部署方式 Ollama 要说私有化部署大模型最方便的方式, 我认为非Ollama莫属了. 总结 开源大模型, 或者说本地化运行一个开源大模型, 现在已经越发的简单与低门槛了. 只要有足够的GPU硬件, 本地化部署与运行开源大模型非常简单及易于实现. 想部署一个本地大模型玩玩?
8.9K21编辑于 2024-04-23 - 来自专栏Java技术进阶
基于LMDeploy部署大模型和量化
背景 大模型具有庞大的参数量，内存开销大，7B模型仅权重就需要14+G内存，采用自回归生成token，需要缓存Attention 的k/v带来巨大的内存开销；动态shape，请求参数不固定，Token逐个生成 ，且数量不定，因此在部署上都存在一些挑战。 LMDeploy介绍 LMDeploy 是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务。 接下来，我们看一下lmdeploy提供的部署功能。 2.1 模型转换 使用 TurboMind 推理模型需要先将模型转化为 TurboMind 的格式，目前支持在线转换和离线转换两种形式。 我想直接在自己的 Python 项目中使用大模型功能。推荐使用 TurboMind推理 + Python（2.5）。 我想在自己的其他非 Python 项目中使用大模型功能。
2.8K00编辑于 2024-03-01 - 来自专栏Python与算法之美
Ollama 本地CPU部署开源大模型
Ollama可以在本地CPU非常方便地部署许多开源的大模型。 如 Facebook的llama3, 谷歌的gemma, 微软的phi3，阿里的qwen2 等模型。 ollama run qwen2 #跑qwen2模型，如果本地没有，会先下载 ollama pull llama3 #下载llama3模型到本地 ollama list #查看本地有哪些模型可用 ollama rm #删除本地的某个模型 ollama help #获取帮助 ! 二， 命令行交互 可以在命令行中用 ollama run qwen2 运行一个模型，然后在命令行中和它对话。 下面的gif动画没有做任何加速。 这个回复速度还是非常的感人的~ 三，Python接口交互 在命令行运行 诸如 ollama run qwen2，实际上就会在后台起了一个qwen2的模型服务。
4.1K11编辑于 2024-06-26 - 来自专栏AI技术应用
AI大模型本地化部署
AI大模型本地化部署是将大规模人工智能模型（如GPT、LLaMA、DeepSeek等）部署到本地服务器或设备上，以满足数据隐私、安全性和性能需求的过程。 以下是AI大模型本地化部署的关键步骤、技术难点及解决方案。一、本地化部署的关键步骤1.需求分析与规划 明确应用场景（如智能客服、文本生成、图像识别等）。评估本地硬件资源（GPU、内存、存储）和预算。 5.模型部署使用推理框架（如ONNX、TensorRT）优化模型推理性能。部署模型到本地服务器或边缘设备，提供API接口供调用。6.监控与维护持续监控模型性能和硬件状态。定期更新模型以保持最佳性能。 国产化适配：国产AI算力和模型（如DeepSeek）将加速普及。边缘计算：大模型将更多部署到边缘设备，满足实时性需求。 通过以上步骤和解决方案，AI大模型本地化部署可以更好地满足行业需求，推动AI技术的广泛应用。
4.9K10编辑于 2025-03-08 - 来自专栏技术人生黄勇
工程落地实践｜国产大模型 ChatGLM2-6B 阿里云上部署成功
“ 之前尝试过在各种不同的云平台、云算力，部署清华大模型 ChatGLM2-6B，有失败有成功，但不是很理想。这次使用免费的阿里云机器学习GPU资源，终于成功了。” 之前的部署经历： 快捷部署清华大模型 ChatGLM2-6B，一键搞定 HuggingFace Space 空间 终于部署成功！ GPU 云环境搭建 ChatGLM2-6B 坎坷路 这次有朋友介绍阿里云也有机器学习PAI，其中交互式建模DSW，可以用来部署自己的模型和数据集。 先分享免费使用国产大模型 ChatGLM2-6B 对话的地址： https://8a27eb15-4d03-47fe.gradio.live/ 在服务器上面命令行测试模型对话： Web 未找到相关的大模型的部署教程，从ECS云服务器的基础上开始部署，遇到很多大模型所需要的开发框架所需要的组件、资源的问题，坑无数，被折磨两天后，放弃了。 AutoDL AI算力云成功部署。
60810编辑于 2024-07-19 - 来自专栏素质云笔记
大模型时代的模型运维与部署：LLMops
这意味着 LLMOps 是一组工具和最佳实践，用于管理 LLM 支持的应用程序的生命周期，包括开发、部署和维护。 LLM（大型语言模型）是可以生成人类语言输出的深度学习模型（因此称为语言模型）。 2 LLMOps实现步骤 几个LLMops的步骤： 基础模型的选择 迭代和提示Prompt管理 测试 部署 监控 持续改进和微调 2.1 数据管理 2.1.1 数据清洗和预处理技术 原始数据可能存在噪声和结构混乱 测试和训练数据分布差异大：实际使用的数据分布总是不同于训练数据的分布。 难以用一个核心指标去衡量：指标不那么直接，可能无法捕捉模型的不同行为。语言模型需要对行为和定性输出测量有更多样化的理解。 2.5 部署 部署LLM（语言模型）API可能很简单，但是如果API调用背后有很多逻辑，则会变得更加复杂。 提高LLM输出质量的技术包括自我评价、采样多个输出和集成技术。 ---- 3 参考文献 LLMOps（Large Language Model Operations）简介 了解一下新领域 LLMOps: 大模型运维 LLM训练营课程笔记之 LLMOps: Deployment
7.8K21编辑于 2023-07-09 - 来自专栏大模型应用
大模型应用：大模型实测对比：1.8B vs 6B，本地部署的极限拉扯与真实体感.119
一、前言 在本地部署大模型的圈子里，一直存在着一场关于显存与参数量的博弈，受限于本地PC的硬件限制，我们通常都用的是1.5B的小体量模型，现在随着硬件条件的加持，我们也尝试应用更大的模型， 今天我们分别部署了通义千问的 Qwen1.5-1.8B-Chat和智谱的 ChatGLM2-6B，这两个模型分别代表了轻量高效和性能均衡两个方向。 三、推理效果对比光看部署体验不够，模型最终还是要能干活，我们通过5类典型的应用场景，分别测试两个模型的表现，看看6B的智商是不是真的碾压1.5B；1. 总结：Qwen1.5-1.8B 犯了直觉错误；ChatGLM2-6B 犯了计算前提错误，这也说明了不要完全信任大模型做复杂的数学逻辑题，尤其是这种带有陷阱的奥数题，它们很容易在“归一”步骤或“倍数”关系上出错 初始化FastAPI应用（创建API服务）app = FastAPI(title="ChatGLM2-6B 本地API", description="基于ChatGLM2-6B模型的本地化部署接口")#
43910编辑于 2026-05-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号