- 综合排序
- 最热优先
- 最新优先
- 来自专栏ReganYue's Blog
【玩转 GPU】初探大模型、Stable Diffusion所需GPU配置（根据需求提供不同选择）
初探大模型、Stable Diffusion所需GPU配置（根据需求提供不同选择） 部署Falcon-40B、MPT-30B 和 Stable Diffusion 应该使用哪些 GPU 方案？ 本文将对每一种模型部署所需GPU提供多种方案——性能型、均衡型、经济型。 通过阅读本文，就不必研究市面上所有型号的GPU，并测试判断下面这几种模型能否在选择的GPU上运行。 MPT-30B 的模型大小也经过特意选择，使其能够轻松部署在单个 GPU 上——16 位精度的 1 * A100-80GB 或 8 位精度的 1 * A100-40GB。 Stable Diffusion 经济型 1 * RTX 3090 或 1 * A5000 附表：一些GPU配置需求 场景 GPU配置要求 A100 40GB GPUs” 微调大尺寸的大模型 “64 A100 40GB GPUs” 微调尺寸的大模型
4.3K51编辑于 2023-07-30 - 来自专栏计算机视觉
为什么大模型训练需要GPU，以及适合训练大模型的GPU介绍
文章目录 前言 1、为什么大模型训练需要GPU，而非CPU 2、现在都有哪些合适的GPU适合训练，价格如何 前言 今天偶然看到一篇关于介绍GPU的推文，我们在复现代码以及模型训练过程中，GPU的使用是必不可少的 ，那么大模型训练需要的是GPU，而不是CPU呢。 1、为什么大模型训练需要GPU，而非CPU 总的来说，选择GPU而非CPU进行大模型训练的主要原因是因为GPU在并行处理能力、高吞吐量和针对机器学习任务的优化方面的优势。 4090：最后再来说一下4090显卡，4090显卡训练大模型不行，因为大模型训练需要高性能的通信，但4090的通信效率太低，但是进行推理可以。价格一般在2w左右。 参考：https://mp.weixin.qq.com/s/8j_2FiumrpRr8Z1_vIu8Hg
6.3K11编辑于 2024-04-25 - 来自专栏Lcry个人博客
无限白嫖高性能8H32G云GPU部署大模型
今天给大家介绍一个白嫖的GPU服务器，每个月免费50000时长，分配的是一台16GB显存、8 + TFlops SP、8核CPU、内存32G的一台ubuntu20.04的机器，提供在线IDE进行终端操作 ，可以用来部署大模型服务，运行ollma、dify、chatglm等等，以及开发调试训练一些模型等等，纯纯免费，可以开多台机器，反正每个月5w分钟时长，用完才付费，大家可以拿来玩玩部署下大模型。 说明 使用的腾讯云高性能应用服务 HAI，唯一不足的是每日凌晨2点容器空间自动关机，内容不会丢失，手动启动即可： 配置如下： GPU信息： +------------------------------ ----------- CPU架构: x86_64 CPU型号: Intel(R) Xeon(R) Platinum 8255C CPU @ 2.50GHz CPU核心数: 8 自建大模型并对接第三方平台二次分发盈利》，下面看我的效果。
3.2K20编辑于 2024-11-22 - 来自专栏AI分享
GPU实战：低成本运行多模态大模型
无服务器 GPU 服务结合其弹性扩展和按需付费的特性，为开发者提供了部署多模态大模型的理想平台。本文将从实战角度，探讨如何基于 无服务器 GPU 基础设施，低成本运行多模态大模型。 环境配置与模型部署优化方案弹性GPU计算集群构建（无服务器模式）在 Machine Learning服务中，可通过智能资源调度实现GPU资源的弹性供给。 推荐使用NCv3系列虚拟机（建议选择Standard_NC6s_v3型号，搭载NVIDIA Tesla V100 GPU），该配置在计算性能与成本效益间取得平衡，特别适合大模型推理场景。 32GB降至8GB梯度检查点：通过activation checkpointing技术降低50%显存占用动态分块加载：实现大图像输入的分块处理，支持最高4096x4096分辨率输入模型推理服务化pythonCopy 无服务器 GPU 通过弹性资源、精细化成本控制和多模态工具链，为开发者提供了高效运行大模型的解决方案。
4.5K11编辑于 2025-04-14 - 来自专栏计算机视觉CV
【玩转 GPU】本地部署大模型--chatGLM（尝鲜篇）
本文主要介绍ChatGLM-6B 的本地部署，提供更保姆级别的教程，让完全不懂技术的同学，也能在本地部署大模型～在19年曾经尝试过使用GPT2进行代码补全，当时就被大模型效果惊艳到啊，只是没想到短短3年多 ，大模型效果提升这么快。 学不完，根本学不完....大模型实在太火了，终于还是忍不住对它下手。今天介绍如何在本地部署大模型尝鲜，后面有时间会持续出大模型技术原理篇。 1 大语言模型LLM大语言模型（Large Language Model），是一种人工智能模型，旨在理解和生成人类语言。 但是现在有很多开发者，对自研的大模型进行开源，更好支持中文，更友好的部署环境。比如ChatGLM-6B。
27.5K289编辑于 2023-06-03 - 来自专栏TechLead
为大模型提供服务需要多少 GPU 显存？
在几乎所有的 LLM 面试中，有一个问题总是会被提及：“为大模型提供服务需要多少 GPU 显存？” 当你使用 GPT、LLaMA 或任何其他 LLM 时，了解如何估算所需的 GPU 内存是至关重要的。无论你是在处理一个 70 亿参数的模型，还是更大的模型，正确地配置硬件以支持这些模型至关重要。 让我们深入探讨一下数学计算，这将帮助你估算有效部署这些模型所需的 GPU 内存。 估算 GPU 内存的公式 要估算为大型语言模型提供服务所需的 GPU 内存，可以使用以下公式： M 是 GPU 显存，以 GB（千兆字节）为单位。 P 是模型的参数数量。 例如，单个具有 80 GB 内存的 NVIDIA A100 GPU 不足以为该模型提供服务。你至少需要两个具有 80 GB 内存的 A100 GPU，才能有效地处理内存负载。
1.7K11编辑于 2024-09-20 - 来自专栏机器之心
消费级GPU成功运行1760亿参数大模型
机器之心报道 机器之心编辑部 在消费级 GPU 上运行大规模模型是机器学习社区正面临的挑战。 例如，BLOOM-176B 需要在 8 个 80GB A100 GPU（每个约 15000 美元）上运行才能完成推理任务，而微调 BLOOM-176B 则需要 72 个这样的 GPU。 该研究将向量量化和混合精度分解的组合命名为 LLM.int8()。实验表明，通过使用 LLM.int8()，可以在消费级 GPU 上使用多达 175B 参数的 LLM 执行推理，而不会降低性能。 该方法不仅为异常值对模型性能的影响提供了新思路，还首次使在消费级 GPU 的单个服务器上使用非常大的模型成为可能，例如 OPT-175B/BLOOM。 这使得 FP16 数字的可表示范围远低于 FP32，面临溢出（试图表示一个非常大的数字）和下溢（表示一个非常小的数字）的风险。
1.7K10编辑于 2022-08-25 - 来自专栏AI前沿技术
大模型训练—Nvidia GPU 互联技术全景图
2，GPU和GPU之间的数据流动 2.1，有共享内存参与的GPU-GPU间数据流动： 1）GPU0 通过PCle将显存中的数据，拷贝到系统内存中的固定共享内存。 PCIe 版本 传输速率 单通道（x1）带宽 双通道（x2）带宽 四通道（x4）带宽 八通道（x8）带宽 十六通道（x16）带宽 3.0 8 GT/s 0.98 GB/s 1.97 GB/s 3.94 NVLink 解决了单节点小规模计算设备之间的高效通信，比如8个GPU之间通过混合立方网格拓扑结构相连，保证了每两两个GPU之间的传输效率是一致的。 NVSwitch作为节点交换架构，支持单节点中16个GPU全互联，并且支持8对GPU同时通信。 例如，在训练千亿参数模型时，节点内8个GPU 使用 NVLink P2P同步梯度；节点间通过 RDMA将聚合后的梯度广播到其他服务器。
78711编辑于 2026-01-13 买不起GPU，玩不起大模型，ChatBI还有戏吗？
从ChatGPT到各类开源大模型，人工智能正从遥远的技术概念，变为触手可及的生产力工具。 无论是训练还是运行大型语言模型（LLM），都离不开以NVIDIAH100为代表的昂贵GPU集群。 我们这些买不起GPU、玩不起大模型的普通企业，是否就此与这场数据分析的革命无缘？答案是否定的。本文将揭示一条更具普适性的路径，证明即便不依赖昂贵的大模型，企业依然可以实现高效、低成本的ChatBI。 根据GeeksforGeeks的硬件推荐，运行大型模型需要配备如NVIDIAA100或RTX4090等拥有海量VRAM的专业GPU，以及高性能CPU、大容量内存和高速存储，整套系统的成本动辄数十万美元。 结语：务实的选择，即是最好的选择回到最初的问题：买不起GPU，玩不起大模型，ChatBI还有戏吗？答案是肯定的。
22510编辑于 2026-01-05- 来自专栏cuijianzhe
配置openstack GPU直通
这里我们将GPU带的4个设备的驱动都配置成vfio的一个原因是：默认情况下，统一pci端口的不同设备，会被分配到同一个iommu组，同一组的设备，只能同时被分配到一个虚拟机使用。 vfio-pci模块，编辑/etc/modules-load.d/openstack-gpu.conf，添加如下内容：#注意vfio_pci的写法，一旦写错，创建带GPU的虚拟机的时候，可能会无法直通到虚拟机或者非常慢 vfio_pci#下面的内容也是参考网上的配置，有可能不需要pci_stubvfiovfio_iommu_type1kvmkvm_intel配置vfio加载的设备配置使用vfio驱动的设备（这里的设备就是上面我们查到的设备的 1ad7","vendor_id":"10de","device_type":"type-PCI"}##T4的写法：alias = {"name":"nvT43D","product_id":"1eb8" 参考这个文档：使用 GPU 在直通中启动虚拟机时出现问题 - 红帽客户门户 (redhat.com)
4.3K10编辑于 2022-07-22 - 来自专栏运维有术
KubeSphere 最佳实战：探索 K8s GPU 资源的管理，在 KubeSphere 上部署 AI 大模型 Ollama
今天分享的内容是 KubeSphere 最佳实战「2024」 系列文档中的 KubeSphere 最佳实战：探索 Kubernetes GPU 资源的管理，在 KubeSphere 上部署 AI 大模型 随着人工智能、机器学习、AI 大模型技术的迅猛发展，我们对计算资源的需求也在不断攀升。特别是对于需要处理大规模数据和复杂算法的 AI 大模型，GPU 资源的使用变得至关重要。 实战部署：Ollama 大模型管理工具：我们将在 KubeSphere 上部署 Ollama，一个专为 AI 大模型设计的管理工具，以验证 GPU 资源是否能够被正确调度和高效使用。 KubeSphere 部署 Ollama 通过上面的验证测试，证明可以在 K8S 集群上创建使用 GPU 的 Pod 资源，接下来我们结合实际使用需求，利用 KubeSphere 在 k8s 集群创建一套大模型管理工具 ="22.4 GiB" available="22.3 GiB" 6.3 拉取 Ollama 使用的大模型 Ollama 拉取模型 本示例为了节省时间，采用阿里开源的 qwen2 1.5b 小尺寸模型作为测试模型
1K10编辑于 2024-07-16 - 来自专栏Python与算法之美
使用GPU训练模型
构建模型的3种方法(继承nn.Module基类，使用nn.Sequential，辅助应用模型容器) 训练模型的3种方法(脚本风格，函数风格，torchkeras.Model类风格) 使用GPU训练模型( 单GPU训练，多GPU训练) 本篇我们介绍使用GPU训练模型。 Pytorch中使用GPU加速模型非常简单，只要将模型和数据移动到GPU上。核心代码只有以下几行。 # 定义模型 ... 如果要使用多个GPU训练模型，也非常简单。只需要在将模型设置为数据并行风格模型。则模型移动到GPU上之后，会在每一个GPU上拷贝一个副本，并把数据平分到各个GPU上进行训练。核心代码如下。 InlineBackend.figure_format = 'svg' #查看部分样本 from matplotlib import pyplot as plt plt.figure(figsize=(8,8
3.5K20发布于 2020-07-22 - 来自专栏大模型应用
大模型应用：构建智能大模型运维体系：模型健康度监测系统实践.8
引言 大型语言模型已成为各行各业的核心基础设施。从客户服务到内容创作，从代码生成到科学研究，大模型正深度融入企业的核心业务流程。 传统的系统监控工具如Zabbix、Prometheus等虽然能监控基础硬件资源，但无法深入理解大模型服务的特殊行为模式，无法感知模型推理的内在质量，更无法预测服务性能的潜在风险。 今天我们将以模型健康度监测系统为例，深度剖析现代大模型运维平台的设计理念、技术实现与创新亮点。通过详细的流程分析、架构解读和实践场景说明，为构建智能化的模型运维体系提供完整的实践参考和技术路线图。 多层次监控体系 系统构建我们采用了四层级的立体化监控架构，每一层都针对大模型服务的特定维度进行深度监控：系统资源层：基础硬件资源监控（CPU、内存、磁盘、网络），确保运行环境稳定模型运行层 ): """智能性能评分算法 - 基于大模型服务特性的专业评分体系""" score = 100 # 基准分数 # CPU性能 (权重: 25%) - 考虑到大模型推理对CPU
34543编辑于 2026-02-05 - 来自专栏云服务业务
如何在腾讯云GPU服务器上部署私有化大模型？附GPU简介
本文讲如何用最低成本在腾讯云上部署专属大模型？首先来了解部署专属大模型前期的工作准备和腾讯云GPU服务器的简介。 服务器配置推荐如下： GPU：NVIDIA T4/A10/A100 CPU：32核以上 内存：64GB以上 软件环境： 操作系统：主流的操作系统如 Windows 10/11、Ubuntu 等都可以用于大模型部署 Python 环境：Python 是大模型开发和部署的核心语言。我们需要安装 Python 3.7 及以上版本。 腾讯云GPU服务器进行大模型部署优势 性能优势 T4/A10/A100等多种GPU配置可选；支持GPU直通，性能损耗极小；网络带宽大，数据传输快速。 量化优化 # 8比特量化 model = model.quantize(8) # 或使用bitsandbytes进行量化 from transformers import BitsAndBytesConfig
1.4K20编辑于 2025-09-04 H100 GPU如何加速大语言模型与AI开发
GPU设计用于同时执行不同的计算，从而加速任何大语言模型的训练和推理。此外，GPU能更高效地处理大型数据集和复杂模型，从而推动先进AI应用的开发。多种深度学习算法需要强大的GPU才能高效运行。 H100 PCIe Gen 5 GPUH100 PCIe Gen 5配置拥有与H100 SXM5 GPU相同的功能，但功耗仅为350瓦。 显著特性配备多项先进特性的NVIDIA H100 NVL GPU，为大语言模型的性能和可扩展性进行了优化。 H100 NVL GPU的这些先进特性增强了大语言模型的性能和可扩展性，使其更易于主流使用且更高效。 Transformer引擎和第四代Tensor核心： H100 GPU中的这些先进技术实现了这些惊人的加速，特别是对于大语言模型和合成媒体模型。
37110编辑于 2026-01-15- 来自专栏AI SPPECH
42_大语言模型的计算需求：从GPU到TPU
推理优化技术 为了满足大语言模型推理的低延迟和高吞吐量需求，研究人员开发了多种优化技术： 模型量化：将32位浮点参数转换为8位整数或更低精度，减少内存占用和计算量 模型剪枝：移除不重要的模型连接，减小模型体积 其主要技术特点包括： Hopper架构：基于TSMC 4N工艺，集成800亿晶体管 Transformer Engine：专为大语言模型设计的专用加速单元 FP8支持：原生支持FP8精度，提升AI计算性能 推理性能优化 TPU在大语言模型推理中通过多种技术实现高性能： 硬件级推理优化：针对推理工作负载优化的硬件架构 量化支持：原生支持INT8、INT4等低精度推理 批处理优化：高效处理多个推理请求的批处理机制 ASIC提高灵活性：通过可配置单元提高ASIC的灵活性 混合架构：结合多种加速器的优势，如CPU+GPU+ASIC的异构系统 这种融合趋势使得不同类型加速器之间的界限变得越来越模糊，也为大语言模型计算提供了更多优化空间 2025年，量化技术已经相当成熟，在保持模型性能的同时，能够将内存占用减少4-8倍，显著降低了大语言模型的部署成本。
75610编辑于 2025-11-16 - 来自专栏openclaw系列
OpenClaw怎么换大模型？3步免费切换各种大模型配置教程
一句话总结：OpenClaw 本身不内置任何大模型，而是通过灵活的配置机制对接各类模型服务。更换模型只需三步：选择目标模型获取 API Key、在配置文件中添加模型提供商、重启网关生效。 第一章：核心原理——OpenClaw 如何对接大模型？1.1 为什么需要更换模型？OpenClaw 的核心价值在于“连接”——连接大模型的思考能力与电脑的真实操作权限。 hunyuan-turbo# 临时切换单次对话（不改变默认）openclaw chat --model yuanbao/hunyuan-turbo --prompt "测试"第二章：云端模型配置——接入主流大模型 2.1 腾讯元宝模型配置（推荐中文场景）腾讯元宝基于混元大模型，提供强大的中文理解和多模态能力，2026 年推出免费额度方案，大幅降低使用门槛。 选择更小的量化版本（如从 Q5_K_M 换为 Q4_K_M）选择更小的模型（如从 32B 换为 7B）确保 GPU 驱动正常，CPU 推理会明显变慢调整 Context Window 长度，过长的上下文会消耗大量显存
11.7K43编辑于 2026-03-28 - 来自专栏大模型应用
大模型应用：GPU的黑盒拆解：可视化看透大模型并行计算的底层逻辑.67
张量核心（Tensor Core）：专门加速矩阵乘加（GEMM）运算，是大模型算力的核心来源，支持FP16、BF16、INT8、INT4等混合精度计算3. 寄存器文件与共享内存：提供快速数据存储，共享内存支持线程块内高效通信对大模型算力的影响：SM 数量决定 GPU 并行算力上限；更多SM意味着更高的理论峰值算力张量核心是大模型 INT4/INT8 量化加速的关键硬件 ，如RTX4090的INT8算力是FP32的4倍；大模型优化中，量化压缩就是利用这个特性，将 FP32 权重转为 INT4/INT8，让张量核心的算力充分释放，同时减少显存占用。 初始化配置 ======================# 模拟大模型推理的矩阵大小（14B模型注意力层常见维度）BATCH_SIZE = 32SEQ_LEN = 512HIDDEN_SIZE = 128 模拟GPU任务拆分逻辑 ======================# 大矩阵大小：128×128（拆成16×16个8×8小矩阵）BIG_MATRIX_SIZE = 128SMALL_BLOCK_SIZE
24532编辑于 2026-04-05 - 来自专栏机器之心
致命幻觉问题、开发GPU替代品，大模型还面临这10大挑战
机器之心编译 编辑：陈萍、梓文 大型语言模型，还有哪些挑战和机遇，这篇博客全都概括了。 ChatGPT、GPT-4 等的发布，让我们在见识到大模型（LLM）的魅力后，伴随而来的是其所面临的各种挑战。 面对大模型，到底有哪些需要解决的问题？成为 AI 领域重要的研究课题。 本文，计算机科学家 Chip Huyen 从 10 个方面入手，全面阐述 LLM 面临的挑战。 开发 GPU 替代品 自 2012 年 AlexNet 发布以来，GPU 一直占据深度学习的主导地位。 在 GPU 出现之前，如果你想训练 AlexNet 这种规模的模型，必须使用数千个 CPU，而 GPU 几个就能搞定。 过去十年中，无论是大公司还是初创公司，都尝试为人工智能创建新的硬件。 8. 从人类偏好中改进学习 RLHF，即从人类偏好出发的强化学习。如果人们能找到其他方法来训练 LLM，也不会让人感到惊讶，毕竟 RLHF 还有很多问题有待解决。
41850编辑于 2023-09-08 - 来自专栏NLP算法工程师之路
Deepin配置TF GPU环境
使用conda安装GPU加速版本的TensorFlow时，将自动安装GPU支持所需的CUDA和CuDNN库。不需要再额外安装这些库了。 而且与 pip 安装相比，conda 安装可以带来超过8倍的CPU速度提升。因此推荐通过conda安装TensorFlow。 总体参照的是下面这篇博客： https://blog.csdn.net/aaronjny/article/details/79330727 第一步：检查 我自己电脑上是有GPU的，查看方式是安装nvidia-smi sudo apt-get install nvidia-smi 直接在终端运行nvidia-smi输出GPU信息。 安装Tf GPU版本 conda install tensorflow-gpu 测试 ? 正常输出显卡信息则安装完成。
1.1K10发布于 2019-12-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号