- 综合排序
- 最热优先
- 最新优先
- 来自专栏ReganYue's Blog
【玩转 GPU】初探大模型、Stable Diffusion所需GPU配置（根据需求提供不同选择）
初探大模型、Stable Diffusion所需GPU配置（根据需求提供不同选择） 部署Falcon-40B、MPT-30B 和 Stable Diffusion 应该使用哪些 GPU 方案？ 本文将对每一种模型部署所需GPU提供多种方案——性能型、均衡型、经济型。 通过阅读本文，就不必研究市面上所有型号的GPU，并测试判断下面这几种模型能否在选择的GPU上运行。 2 * RTX 6000 Ada（该方案A6000 或 RTX 6000不符合要求） Falcon-40B 经济型 2 * A6000 另外附上对于该大模型其他方案与 Stable Diffusion 经济型 1 * RTX 3090 或 1 * A5000 附表：一些GPU配置需求 场景 GPU配置要求 Nvidia A100s at the time.” ——8k张A100 训练 Falcon (40B) “384 A100 40GB GPUs” 微调大尺寸的大模型
4.3K51编辑于 2023-07-30 - 来自专栏计算机视觉
为什么大模型训练需要GPU，以及适合训练大模型的GPU介绍
文章目录 前言 1、为什么大模型训练需要GPU，而非CPU 2、现在都有哪些合适的GPU适合训练，价格如何 前言 今天偶然看到一篇关于介绍GPU的推文，我们在复现代码以及模型训练过程中，GPU的使用是必不可少的 ，那么大模型训练需要的是GPU，而不是CPU呢。 1、为什么大模型训练需要GPU，而非CPU 总的来说，选择GPU而非CPU进行大模型训练的主要原因是因为GPU在并行处理能力、高吞吐量和针对机器学习任务的优化方面的优势。 下面介绍几款常用的GPU： A100：非常适合大规模并行计算任务和大模型训练，现在用的最多的卡之一，性价比高，1.5w美元左右，但是溢价严重，人民币价格区间10w~20w，运气好的话10w左右可以拿下。 4090：最后再来说一下4090显卡，4090显卡训练大模型不行，因为大模型训练需要高性能的通信，但4090的通信效率太低，但是进行推理可以。价格一般在2w左右。
6.3K11编辑于 2024-04-25 - 来自专栏AI分享
GPU实战：低成本运行多模态大模型
无服务器 GPU 服务结合其弹性扩展和按需付费的特性，为开发者提供了部署多模态大模型的理想平台。本文将从实战角度，探讨如何基于 无服务器 GPU 基础设施，低成本运行多模态大模型。 以部署百亿参数级大模型 VisualGLM-6B 为例，即使在零请求的闲置状态下，系统仍能保持 500ms 以内的首帧响应时间，完美支持突发性推理请求场景（如电商大促期间的实时推荐系统）。 环境配置与模型部署优化方案弹性GPU计算集群构建（无服务器模式）在 Machine Learning服务中，可通过智能资源调度实现GPU资源的弹性供给。 推荐使用NCv3系列虚拟机（建议选择Standard_NC6s_v3型号，搭载NVIDIA Tesla V100 GPU），该配置在计算性能与成本效益间取得平衡，特别适合大模型推理场景。 利用率、显存消耗的实时监控安全防护：默认启用虚拟网络隔离和托管身份认证多模态大模型部署实践（VisualGLM-6B优化版）环境依赖与模型优化bashCopy Code# 创建conda虚拟环境conda
4.5K11编辑于 2025-04-14 - 来自专栏计算机视觉CV
【玩转 GPU】本地部署大模型--chatGLM（尝鲜篇）
本文主要介绍ChatGLM-6B 的本地部署，提供更保姆级别的教程，让完全不懂技术的同学，也能在本地部署大模型～在19年曾经尝试过使用GPT2进行代码补全，当时就被大模型效果惊艳到啊，只是没想到短短3年多 学不完，根本学不完....大模型实在太火了，终于还是忍不住对它下手。今天介绍如何在本地部署大模型尝鲜，后面有时间会持续出大模型技术原理篇。 1 大语言模型LLM大语言模型（Large Language Model），是一种人工智能模型，旨在理解和生成人类语言。 因此，在选择NVIDIA A100时，需要根据具体的应用场景和预算选择适合的显存配置。3 chatGLM-6B本地部署上文说过大模型的一个特点就是大规模参数，需要高规模大显存配置，而显存是需要资金的。 但是现在有很多开发者，对自研的大模型进行开源，更好支持中文，更友好的部署环境。比如ChatGLM-6B。
27.5K289编辑于 2023-06-03 - 来自专栏TechLead
为大模型提供服务需要多少 GPU 显存？
在几乎所有的 LLM 面试中，有一个问题总是会被提及：“为大模型提供服务需要多少 GPU 显存？” 当你使用 GPT、LLaMA 或任何其他 LLM 时，了解如何估算所需的 GPU 内存是至关重要的。无论你是在处理一个 70 亿参数的模型，还是更大的模型，正确地配置硬件以支持这些模型至关重要。 让我们深入探讨一下数学计算，这将帮助你估算有效部署这些模型所需的 GPU 内存。 估算 GPU 内存的公式 要估算为大型语言模型提供服务所需的 GPU 内存，可以使用以下公式： M 是 GPU 显存，以 GB（千兆字节）为单位。 P 是模型的参数数量。 例如，单个具有 80 GB 内存的 NVIDIA A100 GPU 不足以为该模型提供服务。你至少需要两个具有 80 GB 内存的 A100 GPU，才能有效地处理内存负载。
1.7K11编辑于 2024-09-20 - 来自专栏大模型&AIGC
6种大模型微调技术
当我们想在用特定领域的数据微调模型时，如果想要full-tuning所有模型参数，看着是不太实际，一来需要相当多的硬件设备（GPU），二来需要相当长的训练时间。 input和target，则使用原始的input embedding(5) 使用方式离散和连续template token混合时，显示地插入一下anchor（离散的token）有助于template的优化(6) ，无需verbalizer(4) 特点在小、大模型上，效果均优于P-tuning。 与使用Adam对GPT-3 175B进行微调相比，LoRA可以将可训练参数数量减少10,000倍，GPU内存需求减少3倍。 Model)，学习目标为而加入LoRA后，学习目标为：(6) 配置在多个部位$(Q/K/V/Output)$同时添加$\bigtriangleup W$ ，会比只在单一部分上添加权重$\bigtriangleup
2.6K00编辑于 2025-05-08 - 来自专栏机器之心
消费级GPU成功运行1760亿参数大模型
机器之心报道 机器之心编辑部 在消费级 GPU 上运行大规模模型是机器学习社区正面临的挑战。 例如，BLOOM-176B 需要在 8 个 80GB A100 GPU（每个约 15000 美元）上运行才能完成推理任务，而微调 BLOOM-176B 则需要 72 个这样的 GPU。 实验表明，通过使用 LLM.int8()，可以在消费级 GPU 上使用多达 175B 参数的 LLM 执行推理，而不会降低性能。 该方法不仅为异常值对模型性能的影响提供了新思路，还首次使在消费级 GPU 的单个服务器上使用非常大的模型成为可能，例如 OPT-175B/BLOOM。 这使得 FP16 数字的可表示范围远低于 FP32，面临溢出（试图表示一个非常大的数字）和下溢（表示一个非常小的数字）的风险。
1.7K10编辑于 2022-08-25 - 来自专栏AI前沿技术
大模型训练—Nvidia GPU 互联技术全景图
本文主要介绍：GPU和存储系统的数据交互，GPU和GPU在节点内和节点间的通信瓶颈和对应优化方案。主要涉及GPUDirect系列，NVLink、NVSwitch等核心技术介绍。 2，GPU和GPU之间的数据流动 2.1，有共享内存参与的GPU-GPU间数据流动： 1）GPU0 通过PCle将显存中的数据，拷贝到系统内存中的固定共享内存。 2）从共享内存通过PCIe总线，将数据拷贝到GPU1显存中。 利用此方案将数据从GPU0传送到GPU1，整个过程发生多次数据拷贝，直观上有些是冗余拷贝。 如果两个GPU连接到同一PCIe总线，P2P允许每个GPU直接访问自己与对方的GPU显存，而不用通过CPU辅助。即将数据从源GPU拷贝到目标GPU不需要系统内存缓存中间数据。 例如，在训练千亿参数模型时，节点内8个GPU 使用 NVLink P2P同步梯度；节点间通过 RDMA将聚合后的梯度广播到其他服务器。
78811编辑于 2026-01-13 - 来自专栏6G
6G，AI , 与大模型?
6G与AI融合的未来方向 6G 网络的内生 AI 设计将赋能网络的AI大模型，同时使网络能够支持 AI 大模型的训练和服务。 另外，从小模型到大模型，生产效率跨越式提升基础通用大模型具有泛化性，网络智能化将从用例驱动转变为能力驱动，迅速降低应用开发门槛，加速 AI 工程化、规模化落地。 6G 网络将承担数据采集、预处理等数据服务，为云AI训练提供更好的支持。此外，6G 网络的分布式部署将使得 AI 大模型更靠近用户侧，从而在时延方面具有潜在优势。 在数据获取和处理方面，与 ChatGPT 不同，网络中存在大量结构化数据，且网络不同问题间的共性不清晰，网络 AI 大模型面临较大挑战。6G 网络面临如何有效采集适合AI大模型训练的数据的挑战。 而在构建 AI 大模型的路径上，需要分阶段探索，从离线小规模模型开始，逐步过渡到实时大规模模型，最终实现统一的网络 AI 大模型。 本文摘自于中国移动的“6G内生AI架构及AI大模”汇报材料。
40810编辑于 2024-04-24 - 来自专栏GiantPandaCV
在GPU上加速RWKV6模型的Linear Attention计算
前言 本文主要讲一些看到的RWKV 6模型的Linear Attention模块推理加速方法，在这篇博客中暂不涉及对kernel的深入解析。 这个库在2024年4月份支持了RWKV6模型，它加速RWKV 6 Linear Attention计算的核心api有两个，fused_recurrent_rwkv6和chunk_rwkv6。 linear_attention_cpu，rwkv6_cuda_linear_attention，fused_recurrent_rwkv6，chunk_rwkv6这三个api看一下它们的性能表现以及GPU ）速度有大幅提升，同时kernel的占比也明显更小，GPU kernel分布情况： 在GPU kernel的具体执行分布中，fused_recurrent_rwkv6_fwd_kernel已经是比例的最大的 时间回到2023年8月，ChatGPT的火爆让我也想参与到开源的大模型开发过程中，然后Peng Bo说可以参与到实现RWKV5 CUDA算子的事情。
92210编辑于 2024-05-13 买不起GPU，玩不起大模型，ChatBI还有戏吗？
从ChatGPT到各类开源大模型，人工智能正从遥远的技术概念，变为触手可及的生产力工具。 无论是训练还是运行大型语言模型（LLM），都离不开以NVIDIAH100为代表的昂贵GPU集群。 我们这些买不起GPU、玩不起大模型的普通企业，是否就此与这场数据分析的革命无缘？答案是否定的。本文将揭示一条更具普适性的路径，证明即便不依赖昂贵的大模型，企业依然可以实现高效、低成本的ChatBI。 根据GeeksforGeeks的硬件推荐，运行大型模型需要配备如NVIDIAA100或RTX4090等拥有海量VRAM的专业GPU，以及高性能CPU、大容量内存和高速存储，整套系统的成本动辄数十万美元。 结语：务实的选择，即是最好的选择回到最初的问题：买不起GPU，玩不起大模型，ChatBI还有戏吗？答案是肯定的。
22510编辑于 2026-01-05大模型的2025：6个关键洞察
以下为卡帕西年度回顾全文：《2025年大语言模型年度回顾》2025年是大语言模型领域大步跨越且充满变数的一年。 通过在数学、代码谜题等大量可自动验证奖励的环境中训练大语言模型，模型会自发形成人类视角下近似“推理”的策略。 2025 年，行业内围绕这一新应用层的“厚度”展开了大量讨论：大语言模型实验室是否会通吃所有应用场景？还是说垂直领域的大语言模型应用仍有广阔蓝海？ 我个人的观点是，大语言模型实验室更倾向于培育“通识能力极强的大学生”式模型，而大语言模型应用则通过整合私有数据、传感器、执行器及反馈闭环，对这些“大学生”进行针对性组织、微调，最终驱动它们成为特定垂直领域的 需要明确的是，核心差异并非“AI运算的运行位置”（云端或本地），而是其他关键要素：已启动运行的电脑设备、其预装环境、本地上下文、私有数据、密钥信息、系统配置，以及低延迟的人机交互体验。
58110编辑于 2025-12-24- 来自专栏cuijianzhe
配置openstack GPU直通
这里我们将GPU带的4个设备的驱动都配置成vfio的一个原因是：默认情况下，统一pci端口的不同设备，会被分配到同一个iommu组，同一组的设备，只能同时被分配到一个虚拟机使用。 vfio-pci模块，编辑/etc/modules-load.d/openstack-gpu.conf，添加如下内容：#注意vfio_pci的写法，一旦写错，创建带GPU的虚拟机的时候，可能会无法直通到虚拟机或者非常慢 ] vfio_pci: add [10de:10f7[ffff:ffff]] class 0x000000/00000000[ 5.377899] vfio_pci: add [10de:1ad6[ ": "10de", "product_id": "10f7" }, { "vendor_id": "10de", "product_id": "1ad6" 参考这个文档：使用 GPU 在直通中启动虚拟机时出现问题 - 红帽客户门户 (redhat.com)
4.3K10编辑于 2022-07-22 - 来自专栏Python与算法之美
使用GPU训练模型
构建模型的3种方法(继承nn.Module基类，使用nn.Sequential，辅助应用模型容器) 训练模型的3种方法(脚本风格，函数风格，torchkeras.Model类风格) 使用GPU训练模型( 单GPU训练，多GPU训练) 本篇我们介绍使用GPU训练模型。 Pytorch中使用GPU加速模型非常简单，只要将模型和数据移动到GPU上。核心代码只有以下几行。 # 定义模型 ... 如果要使用多个GPU训练模型，也非常简单。只需要在将模型设置为数据并行风格模型。则模型移动到GPU上之后，会在每一个GPU上拷贝一个副本，并把数据平分到各个GPU上进行训练。核心代码如下。 其对应的CPU训练模型代码参见《6-2,训练模型的3种方法》 本例仅需要在它的基础上增加一行代码，在model.compile时指定 device即可。 1，准备数据 !
3.5K20发布于 2020-07-22 - 来自专栏云服务业务
如何在腾讯云GPU服务器上部署私有化大模型？附GPU简介
本文讲如何用最低成本在腾讯云上部署专属大模型？首先来了解部署专属大模型前期的工作准备和腾讯云GPU服务器的简介。 服务器配置推荐如下： GPU：NVIDIA T4/A10/A100 CPU：32核以上 内存：64GB以上 软件环境： 操作系统：主流的操作系统如 Windows 10/11、Ubuntu 等都可以用于大模型部署 Python 环境：Python 是大模型开发和部署的核心语言。我们需要安装 Python 3.7 及以上版本。 腾讯云GPU服务器进行大模型部署优势 性能优势 T4/A10/A100等多种GPU配置可选；支持GPU直通，性能损耗极小；网络带宽大，数据传输快速。 假设你已经有了一个基于ChatGLM2-6B微调的模型： from transformers import AutoTokenizer, AutoModel # 加载模型和分词器 tokenizer =
1.4K20编辑于 2025-09-04 H100 GPU如何加速大语言模型与AI开发
GPU提供的高并行处理能力对于处理神经网络的复杂计算至关重要。GPU设计用于同时执行不同的计算，从而加速任何大语言模型的训练和推理。 H100 PCIe Gen 5 GPUH100 PCIe Gen 5配置拥有与H100 SXM5 GPU相同的功能，但功耗仅为350瓦。 显著特性配备多项先进特性的NVIDIA H100 NVL GPU，为大语言模型的性能和可扩展性进行了优化。 H100 NVL GPU的这些先进特性增强了大语言模型的性能和可扩展性，使其更易于主流使用且更高效。 Transformer引擎和第四代Tensor核心： H100 GPU中的这些先进技术实现了这些惊人的加速，特别是对于大语言模型和合成媒体模型。
37110编辑于 2026-01-15- 来自专栏AI SPPECH
42_大语言模型的计算需求：从GPU到TPU
训练计算需求 根据最新研究，训练一个万亿参数级别的大语言模型可能需要： 10,000-100,000个高端GPU/TPU核心 持续训练2-6个月 消耗数十亿度电 计算成本达数千万至数亿美元 推理计算需求 2025年，TPU已经发展到第六代（TPU v6），在大语言模型训练和推理中展现出了卓越的性能。 TPU v3：提升了计算能力和内存带宽，支持更大规模的模型训练 TPU v4：采用液冷设计，进一步提升了性能密度 TPU v5：优化了能效比，支持更灵活的精度配置 TPU v6：2025年最新一代，能效比上一代提升 动态形状支持：灵活处理不同长度的输入序列 2025年，TPU v6在大语言模型推理中已经能够实现极高的吞吐量和极低的延迟，满足了大规模AI服务的需求。 ASIC提高灵活性：通过可配置单元提高ASIC的灵活性 混合架构：结合多种加速器的优势，如CPU+GPU+ASIC的异构系统 这种融合趋势使得不同类型加速器之间的界限变得越来越模糊，也为大语言模型计算提供了更多优化空间
75610编辑于 2025-11-16 - 来自专栏openclaw系列
OpenClaw怎么换大模型？3步免费切换各种大模型配置教程
一句话总结：OpenClaw 本身不内置任何大模型，而是通过灵活的配置机制对接各类模型服务。更换模型只需三步：选择目标模型获取 API Key、在配置文件中添加模型提供商、重启网关生效。 第一章：核心原理——OpenClaw 如何对接大模型？1.1 为什么需要更换模型？OpenClaw 的核心价值在于“连接”——连接大模型的思考能力与电脑的真实操作权限。 hunyuan-turbo# 临时切换单次对话（不改变默认）openclaw chat --model yuanbao/hunyuan-turbo --prompt "测试"第二章：云端模型配置——接入主流大模型 2.1 腾讯元宝模型配置（推荐中文场景）腾讯元宝基于混元大模型，提供强大的中文理解和多模态能力，2026 年推出免费额度方案，大幅降低使用门槛。 Q5：OpenClaw 能否同时使用多个模型？可以。通过配置 fallback 降级模型实现自动切换，或通过对话内手动切换。Q6：云端模型和本地模型如何选择？
11.7K43编辑于 2026-03-28 - 来自专栏大模型应用
大模型应用：GPU的黑盒拆解：可视化看透大模型并行计算的底层逻辑.67
显存（GPU Memory）存储模型权重、输入输出数据、中间计算结果；常见类型：GDDR6X（消费级）、HBM3（数据中心级）核心指标： 1. KV缓存机制显存占用随序列长度平方增长，长序列生成时显存成为关键瓶颈HBM3相比GDDR6X不仅带宽更高，且功耗更低，更适合大模型部署3. 带宽决定 CPU→GPU 的数据传输速度；大模型推理时，若输入数据量大，PCIe 5.0 比 4.0 传输效率提升 1 倍模型加载阶段：大模型权重文件（如70B模型FP16约140GB）的加载速度直接受 6. 模型推理：GPU算力瓶颈的原因在大模型推理时，经常遇到 “显卡算力高但利用率低” 的问题，底层原因主要有 3 类：1. 初始化配置 ======================# 模拟大模型推理的矩阵大小（14B模型注意力层常见维度）BATCH_SIZE = 32SEQ_LEN = 512HIDDEN_SIZE = 128
24532编辑于 2026-04-05 - 来自专栏啄木鸟软件测试
多模态大模型技术原理及实战(6)
中小型公司大模型构建之路 如何选择 自己建立 二次开发 重新训练，消耗非常巨大 现有的大模型体系已经非常丰富 对话大模型已经白热化 •三天产生一个小应用 •两天产生一个新模型 中小公司的技术实力相对薄 微调 用 LoRA((Low-Rank Adaptation低秩适配) 2022年 Edward J.Hu PLM(Pre-trained Language Model 预训练语言模型) Redundancy Optimizer，ZeRO） •优化器状态分区(ZeRO-1） •梯度分区 (ZeRO-2） •参数分区(ZeRO-3) 压缩 剪枝 剪枝技术通过理结果产生重要影响，需要剔除冗余参数以提高模型训练效率 步骤 •1、训练一个原始模型，该模型具有较高的性能但运行速度较慢。 •2、确定哪些参数对输出结果的贡献较小，并将其设置为零。 •4、评估模型的大小、速度和效果等指标，如果不符合要求，那么继续进行剪枝操作直至满意为止。
29810编辑于 2024-09-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号