- 综合排序
- 最热优先
- 最新优先
- 来自专栏ReganYue's Blog
【玩转 GPU】初探大模型、Stable Diffusion所需GPU配置（根据需求提供不同选择）
初探大模型、Stable Diffusion所需GPU配置（根据需求提供不同选择） 部署Falcon-40B、MPT-30B 和 Stable Diffusion 应该使用哪些 GPU 方案？ 本文将对每一种模型部署所需GPU提供多种方案——性能型、均衡型、经济型。 通过阅读本文，就不必研究市面上所有型号的GPU，并测试判断下面这几种模型能否在选择的GPU上运行。 2 * RTX 6000 Ada（该方案A6000 或 RTX 6000不符合要求） Falcon-40B 经济型 2 * A6000 另外附上对于该大模型其他方案与 Stable Diffusion 经济型 1 * RTX 3090 或 1 * A5000 附表：一些GPU配置需求 场景 GPU配置要求 Nvidia A100s at the time.” ——8k张A100 训练 Falcon (40B) “384 A100 40GB GPUs” 微调大尺寸的大模型
4.3K51编辑于 2023-07-30 - 来自专栏计算机视觉
为什么大模型训练需要GPU，以及适合训练大模型的GPU介绍
文章目录 前言 1、为什么大模型训练需要GPU，而非CPU 2、现在都有哪些合适的GPU适合训练，价格如何 前言 今天偶然看到一篇关于介绍GPU的推文，我们在复现代码以及模型训练过程中，GPU的使用是必不可少的 ，那么大模型训练需要的是GPU，而不是CPU呢。 1、为什么大模型训练需要GPU，而非CPU 总的来说，选择GPU而非CPU进行大模型训练的主要原因是因为GPU在并行处理能力、高吞吐量和针对机器学习任务的优化方面的优势。 下面介绍几款常用的GPU： A100：非常适合大规模并行计算任务和大模型训练，现在用的最多的卡之一，性价比高，1.5w美元左右，但是溢价严重，人民币价格区间10w~20w，运气好的话10w左右可以拿下。 4090：最后再来说一下4090显卡，4090显卡训练大模型不行，因为大模型训练需要高性能的通信，但4090的通信效率太低，但是进行推理可以。价格一般在2w左右。
6.3K11编辑于 2024-04-25 - 来自专栏openclaw系列
OpenClaw怎么换大模型？3步免费切换各种大模型配置教程
一句话总结：OpenClaw 本身不内置任何大模型，而是通过灵活的配置机制对接各类模型服务。更换模型只需三步：选择目标模型获取 API Key、在配置文件中添加模型提供商、重启网关生效。 本文将基于截至 2026 年 3 月的官方文档和社区实践，从核心原理、云端模型配置、本地私有化部署、高级配置技巧、常见问题五个维度，手把手教你为 OpenClaw 更换最合适的“大脑”。 第一章：核心原理——OpenClaw 如何对接大模型？1.1 为什么需要更换模型？OpenClaw 的核心价值在于“连接”——连接大模型的思考能力与电脑的真实操作权限。 2.1 腾讯元宝模型配置（推荐中文场景）腾讯元宝基于混元大模型，提供强大的中文理解和多模态能力，2026 年推出免费额度方案，大幅降低使用门槛。 Q3：本地模型响应太慢怎么办？
11.7K43编辑于 2026-03-28 - 来自专栏韩曙亮的移动开发专栏
【AI 大模型】Meta Llama 3 大模型 ( Llama 3 大模型简介 | Ollama 软件下载安装 | Llama3 模型下载 | Llama 3 大模型 在线 离线 使用 )
首先 , 安装 Ollama 软件 , 到 https://ollama.com/ 下载安装 ; 然后 , 运行 ollama run llama3 命令 , 即可开始使用 Llama3 大模型 ; 一 、Meta Llama 3 大模型安装 1、Llama 3 大模型简介 Llama 3 大模型 是 Meta 公司 发布的 大模型 , Meta 公司 就是 Facebook ; Llama 3 大模型 Llama3 大模型 ; 下载的模型放在了 C:\Users\用户名.ollama 目录中 , 在我的电脑上的路径是 C:\Users\octop.ollama ; 这个模型很大 , 有 4.7 G 安装完成后的效果 for help) 二、Meta Llama 3 大模型使用 1、Llama 3 大模型在线使用 在命令行中 , 可以直接进行对话 , 下面是对话内容 : D:\Llama>ollama run llama3 for help) 2、Llama 3 大模型离线使用 Llama 3 大模型 联网时 , 可以访问云端服务 , 可以生成更加丰富的文本 ; Llama 3 大模型 在 断网后也可以使用 , 下面是断开网络后
1.7K12编辑于 2024-08-09 - 来自专栏AI分享
GPU实战：低成本运行多模态大模型
随着多模态大模型（如视觉-语言模型、文本-音频生成模型等）的快速发展，企业对高效、低成本的算力需求日益迫切。 无服务器 GPU 服务结合其弹性扩展和按需付费的特性，为开发者提供了部署多模态大模型的理想平台。本文将从实战角度，探讨如何基于 无服务器 GPU 基础设施，低成本运行多模态大模型。 环境配置与模型部署优化方案弹性GPU计算集群构建（无服务器模式）在 Machine Learning服务中，可通过智能资源调度实现GPU资源的弹性供给。 推荐使用NCv3系列虚拟机（建议选择Standard_NC6s_v3型号，搭载NVIDIA Tesla V100 GPU），该配置在计算性能与成本效益间取得平衡，特别适合大模型推理场景。 无服务器 GPU 通过弹性资源、精细化成本控制和多模态工具链，为开发者提供了高效运行大模型的解决方案。
4.5K11编辑于 2025-04-14 - 来自专栏计算机视觉CV
【玩转 GPU】本地部署大模型--chatGLM（尝鲜篇）
本文主要介绍ChatGLM-6B 的本地部署，提供更保姆级别的教程，让完全不懂技术的同学，也能在本地部署大模型～在19年曾经尝试过使用GPT2进行代码补全，当时就被大模型效果惊艳到啊，只是没想到短短3年多 ，大模型效果提升这么快。 学不完，根本学不完....大模型实在太火了，终于还是忍不住对它下手。今天介绍如何在本地部署大模型尝鲜，后面有时间会持续出大模型技术原理篇。 1 大语言模型LLM大语言模型（Large Language Model），是一种人工智能模型，旨在理解和生成人类语言。 因此，在选择NVIDIA A100时，需要根据具体的应用场景和预算选择适合的显存配置。3 chatGLM-6B本地部署上文说过大模型的一个特点就是大规模参数，需要高规模大显存配置，而显存是需要资金的。
27.5K289编辑于 2023-06-03 - 来自专栏TechLead
为大模型提供服务需要多少 GPU 显存？
在几乎所有的 LLM 面试中，有一个问题总是会被提及：“为大模型提供服务需要多少 GPU 显存？” 当你使用 GPT、LLaMA 或任何其他 LLM 时，了解如何估算所需的 GPU 内存是至关重要的。无论你是在处理一个 70 亿参数的模型，还是更大的模型，正确地配置硬件以支持这些模型至关重要。 让我们深入探讨一下数学计算，这将帮助你估算有效部署这些模型所需的 GPU 内存。 估算 GPU 内存的公式 要估算为大型语言模型提供服务所需的 GPU 内存，可以使用以下公式： M 是 GPU 显存，以 GB（千兆字节）为单位。 P 是模型的参数数量。 内存（GB）= 考虑开销的总字节数 ÷ (1024^3) ≈ 168,000,000,000 ÷ 1,073,741,824 ≈ 156.5 GB
1.7K11编辑于 2024-09-20 - 来自专栏机器之心
消费级GPU成功运行1760亿参数大模型
机器之心报道 机器之心编辑部 在消费级 GPU 上运行大规模模型是机器学习社区正面临的挑战。 语言模型的规模一直在变大，PaLM 有 540B 参数，OPT、GPT-3 和 BLOOM 有大约 176B 参数，模型还在朝着更大的方向发展。 这些模型很难在易于访问的设备上运行。 该方法不仅为异常值对模型性能的影响提供了新思路，还首次使在消费级 GPU 的单个服务器上使用非常大的模型成为可能，例如 OPT-175B/BLOOM。 这使得 FP16 数字的可表示范围远低于 FP32，面临溢出（试图表示一个非常大的数字）和下溢（表示一个非常小的数字）的风险。 而较小的模型（如 T5-3B 和 T5-11B）的减速幅度更大。研究团队正在努力提升这些小型模型的运行速度。
1.7K10编辑于 2022-08-25 - 来自专栏AI前沿技术
大模型训练—Nvidia GPU 互联技术全景图
Storage 是GPUDirect 系列技术之一，GPUDirect 经过多年的发展，如今已经包含四种技术，分别是： 1）GPUDirect Storage 2）GPUDirect RDMA 3）GPUDirect NVSwitch版本和带宽： 3，GPU之间的跨机通信 3.1，经典的跨机通信 如果涉及GPU的跨机通信，不支持RDMA的方法需要借助系统内存，才能完成数据传输，具体有5个步骤： 1，在源节点中把数据从源 2，在源节点中把数据从host-pinned系统内存拷贝到网卡驱动缓冲区 3，通过网络传输把数据从源节点传送到目标节点的网卡驱动缓冲区 4，在目标节点将数据从网卡驱动缓冲区传送到host-pinned系统内存 3）iWARP允许在TCP上执行RDMA的网络协议。 4，总结： 通过 GPUDirect Storage 技术实现了存储设备和GPU显存的直接访问，数据加载效率大大提升。 例如，在训练千亿参数模型时，节点内8个GPU 使用 NVLink P2P同步梯度；节点间通过 RDMA将聚合后的梯度广播到其他服务器。
78711编辑于 2026-01-13 - 来自专栏开源项目搭建
简单3步部署本地国产大模型DeepSeek大模型
简单3步部署本地国产大模型DeepSeek大模型DeepSeek是最近非常火的开源大模型，国产大模型 DeepSeek 凭借其优异的性能和对硬件资源的友好性，受到了众多开发者的关注。 本文将介绍如何通过简单 3 步在本地部署 DeepSeek 大模型，让你能够轻松体验这一强大的 AI 工具。 GeForce RTX 4070Ti可以运行大模型deepseek-r1的哪个版本的大模型？ 模型运行与会话管理运行模型命令：ollama run [模型名称]功能：运行一个已安装的模型，执行某些任务。可以根据需要指定模型的参数和配置。 设置会话参数和配置命令：/set 参数名 参数值功能：用于设置会话参数和配置，例如设置消息格式、启用或禁用历史记录等。
6.3K33编辑于 2025-02-06 买不起GPU，玩不起大模型，ChatBI还有戏吗？
从ChatGPT到各类开源大模型，人工智能正从遥远的技术概念，变为触手可及的生产力工具。 据报道，Meta公司为训练其Llama3模型，动用了24,000块H100GPU，并计划在年底将总量提升至60万块。对于绝大多数企业，尤其是中小企业（SME）而言，这无疑是一场“玩不起的游戏”。 我们这些买不起GPU、玩不起大模型的普通企业，是否就此与这场数据分析的革命无缘？答案是否定的。本文将揭示一条更具普适性的路径，证明即便不依赖昂贵的大模型，企业依然可以实现高效、低成本的ChatBI。 根据GeeksforGeeks的硬件推荐，运行大型模型需要配备如NVIDIAA100或RTX4090等拥有海量VRAM的专业GPU，以及高性能CPU、大容量内存和高速存储，整套系统的成本动辄数十万美元。 结语：务实的选择，即是最好的选择回到最初的问题：买不起GPU，玩不起大模型，ChatBI还有戏吗？答案是肯定的。
22510编辑于 2026-01-05- 来自专栏芯智讯
谷歌Tensor G3解析：9核CPU＋10核GPU，支持本地AI大模型！
3.00GHz；4个Cortex-A715大核，主频2.45GHz；4个Cortex-A510小核，主频2.15GHz。 10核Mali-G715 GPU：性能稳定性偏低 Tensor G3的GPU采用的是10核心的Arm Mali-G715 GPU，它可以与苹果A17 Pro一样支持硬件级的光线追踪加速能力。 根据“Wild Life Stress test”运行常规 3D 图形场景，循环了 20 分钟，测试了 GPU 的持续性能及其稳定性。这里起作用的因素包括制程工艺节点、GPU、CPU和设备的散热系统。 支持本地运行AI大模型 早在2018年7月，谷歌就正式推出了用于边缘计算的edge TPU，作为其Cloud TPU的补充，当时Edge TPU仅用于推理，专为在边缘运行TensorFlow Lite ML模型而设计。
5.1K50编辑于 2023-10-07 - 来自专栏cuijianzhe
配置openstack GPU直通
initrd image: /boot/initramfs-0-rescue-9a0f67791cd74cddad3d7044def06753.imgdone注：如果是uefi启动模式，则需要:grub2 这里我们将GPU带的4个设备的驱动都配置成vfio的一个原因是：默认情况下，统一pci端口的不同设备，会被分配到同一个iommu组，同一组的设备，只能同时被分配到一个虚拟机使用。 vfio-pci模块，编辑/etc/modules-load.d/openstack-gpu.conf，添加如下内容：#注意vfio_pci的写法，一旦写错，创建带GPU的虚拟机的时候，可能会无法直通到虚拟机或者非常慢 hypervisor id是否隐藏：cpuid | grep hypervisor_id hypervisor_id = "KVMKVMKVM " hypervisor_id = "KVMKVMKVM " 1 2 3 参考这个文档：使用 GPU 在直通中启动虚拟机时出现问题 - 红帽客户门户 (redhat.com)
4.3K10编辑于 2022-07-22 - 来自专栏Python与算法之美
使用GPU训练模型
构建模型的3种方法(继承nn.Module基类，使用nn.Sequential，辅助应用模型容器) 训练模型的3种方法(脚本风格，函数风格，torchkeras.Model类风格) 使用GPU训练模型( 单GPU训练，多GPU训练) 本篇我们介绍使用GPU训练模型。 如果要使用多个GPU训练模型，也非常简单。只需要在将模型设置为数据并行风格模型。则模型移动到GPU上之后，会在每一个GPU上拷贝一个副本，并把数据平分到各个GPU上进行训练。核心代码如下。 《torch使用gpu训练模型》 https://colab.research.google.com/drive/1FDmi44-U3TFRCt9MwGn4HIj2SaaWIjHu? ("cpu") # 或者 tensor_cpu = tensor_gpu.cpu() print(tensor_cpu.device) cuda:0 True cpu # 3，将模型中的全部张量移动到
3.5K20发布于 2020-07-22 - 来自专栏人人都是极客
3.训练模型之在GPU上训练的环境安装
一般来说我们会在笔记本或者 PC 端编写模型和训练代码，准备一些数据，配置训练之后会在笔记本或者 PC 端做一个简单验证，如果这些代码数据都 OK 的话，然后真正的训练放在计算力更强的的计算机上面执行， 一般来说有两个选择，第一可以自己购买配置一个专门用于机器学习/深度学习的服务器，这样初期的投入比较高。 继续训练 前面花了一点时间来配置 GPU 的环境，现在是时候继续我们的训练了。 当然还是需要在这台机器上面根据上一课时的内容完成 Object Detection API 的安装和配置；下载 Pre-trained 模型，然后把本地的训练目录打包上传，接着根据具体的路径修改 pipeline.config 一个训练的流程就跑完了，我们配置好了深度学习的软硬件环境，下节课我们开始准备数据，训练自己的模型吧。
3.5K61发布于 2018-03-16 - 来自专栏云服务业务
如何在腾讯云GPU服务器上部署私有化大模型？附GPU简介
本文讲如何用最低成本在腾讯云上部署专属大模型？首先来了解部署专属大模型前期的工作准备和腾讯云GPU服务器的简介。 服务器配置推荐如下： GPU：NVIDIA T4/A10/A100 CPU：32核以上 内存：64GB以上 软件环境： 操作系统：主流的操作系统如 Windows 10/11、Ubuntu 等都可以用于大模型部署 腾讯云GPU服务器进行大模型部署优势 性能优势 T4/A10/A100等多种GPU配置可选；支持GPU直通，性能损耗极小；网络带宽大，数据传输快速。 ="auto") 3. 配置入站规则 添加以下入站规则： 允许HTTP(80)端口 允许HTTPS(443)端口 允许自定义API端口（如8000） 允许SSH(22)端口用于远程管理 3.
1.4K20编辑于 2025-09-04 H100 GPU如何加速大语言模型与AI开发
GPU提供的高并行处理能力对于处理神经网络的复杂计算至关重要。GPU设计用于同时执行不同的计算，从而加速任何大语言模型的训练和推理。 H100 PCIe Gen 5 GPUH100 PCIe Gen 5配置拥有与H100 SXM5 GPU相同的功能，但功耗仅为350瓦。 188GB HBM3内存： H100 NVL中使用的高带宽内存（HBM3）提供了大容量、快速的内存，对于处理LLMs处理的海量数据至关重要。 H100 NVL GPU的这些先进特性增强了大语言模型的性能和可扩展性，使其更易于主流使用且更高效。 “在某平台的NVIDIA H100 GPU上，使用数百万视频输入训练我们的下一代文本到视频模型仅用了3天，这使我们能够比以往更快地获得新版本的模型。
37110编辑于 2026-01-15- 来自专栏AI SPPECH
42_大语言模型的计算需求：从GPU到TPU
从早期的BERT（3.4亿参数）到GPT-3（1750亿参数），再到2025年的超大规模模型，训练一个顶级大语言模型所需的计算资源已经增长了数百万倍。 大规模并行训练需要同时加载和处理大量训练样本 对于GPT-3这样的超大规模模型，仅模型参数就需要超过700GB的存储空间（FP32精度），这远超单个GPU的内存容量，因此需要采用模型并行、数据并行等技术进行分布式训练 HBM3内存：配备高达80GB HBM3内存，内存带宽达3TB/s NVLink互联：支持多GPU高效互联，构建大规模计算集群 B200和GB200则是H100的进一步演进，提供了更大的内存容量和更高的计算性能 能效比：每瓦性能提升了2-3倍 大规模扩展性：支持数万个GPU的高效扩展 这些性能提升使得训练更大规模的模型和处理更多推理请求成为可能，推动了大语言模型技术的持续进步。 ASIC提高灵活性：通过可配置单元提高ASIC的灵活性 混合架构：结合多种加速器的优势，如CPU+GPU+ASIC的异构系统 这种融合趋势使得不同类型加速器之间的界限变得越来越模糊，也为大语言模型计算提供了更多优化空间
75610编辑于 2025-11-16 - 来自专栏Soul Joy Hub
【大模型AIGC系列课程 3-2】国产开源大模型：ChatGLM
GLM https://arxiv.org/pdf/2103.10360.pdf GLM是General Language Model的缩写，是一种通用的语言模型预训练框架。 这个图示说明了GLM预训练的过程，具体解释如下： a) 原始文本：给定一个原始文本，例如[x1, x2, x3, x4, x5, x6]。 在这个例子中，我们随机选择了两个连续的词片段[x3]和[x5, x6]作为样本。 b) 替换和洗牌：在Part A中，我们将被选择的词片段替换为[M]（表示遮盖）。 在这个例子中，我们将[x3]和[x5, x6]洗牌为[x5, x6]和[x3]。 c) 自回归生成：GLM使用自回归的方式生成Part B。 在生成过程中，模型可以根据之前生成的词片段和Part A中的上下文来预测下一个词片段。 d) 自注意力掩码：为了限制模型的注意力范围，
76020编辑于 2023-08-28 - 来自专栏大模型应用
大模型应用：GPU的黑盒拆解：可视化看透大模型并行计算的底层逻辑.67
KV缓存机制显存占用随序列长度平方增长，长序列生成时显存成为关键瓶颈HBM3相比GDDR6X不仅带宽更高，且功耗更低，更适合大模型部署3. 张量核心对矩阵乘法的加速是量级的，大模型有上千个这样的矩阵乘法，启用张量核心后，整体算力能提升数倍，这也是为什么大模型优化必须确保张量核心被激活。3. 模型推理：GPU算力瓶颈的原因在大模型推理时，经常遇到 “显卡算力高但利用率低” 的问题，底层原因主要有 3 类：1. CPU任务接收：CPU接收到大模型推理请求，特别是注意力机制中的Q×K^T矩阵乘法2. 任务拆分：将128×128的大矩阵分解为32个4×4的小矩阵，这是张量核心的最优计算粒度3. 初始化配置 ======================# 模拟大模型推理的矩阵大小（14B模型注意力层常见维度）BATCH_SIZE = 32SEQ_LEN = 512HIDDEN_SIZE = 128
24532编辑于 2026-04-05
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号