- 综合排序
- 最热优先
- 最新优先
- 来自专栏泛互云原生
qGPU云原生最佳实践
图片文章分为两部分，第一部分为qGPU云原生化安装，提供全量qGPU和混用nvidia+qGPU两种不同的安装方式，以供实际场景选用。 第二部分为qGPU能力验证，分别从调度、隔离和在离线混布三个方面，提供操作用例。----qGPU云原生环境安装1. 模式A：全量部署qGPU节点创建TKE集群，开启【qGPU共享】选项TKE集群创建，参考：https://cloud.tencent.com/document/product/457/32189部署qGPU 模式B：混合部署qGPU及Nvidia节点创建TKE集群不要开启【qGPU共享】，否则无法混合开通节点，（开启后，后面开启的任何节点，都是qGPU节点）图片开通Nvidia方案节点选择【公共镜像】，可选 插件通过TKE控制台，添加【qGPU组件】插件图片图片开通qGPU方案节点选择【市场镜像】 —— 选择标识为“混部”的机器，OS里已经安装GPU驱动，无需重复安装注意：在这种混用模式下，qGPU只能用【
2K40编辑于 2022-11-04 - 来自专栏腾讯云原生团队
GPU虚拟化，算力隔离，和qGPU
而是，我们将聚焦在英伟达 GPU + CUDA 计算领域，介绍下我们最新的技术突破 qGPU，以及它的意义究竟是什么。关于 GPU 虚拟化的历史性介绍，我将直接摘抄当时的讨论。 这也不是一篇介绍 TKE qGPU 产品特性的文章。而是，我们将潜入到前所未有的深度，去探索 GPU 调度和 QoS 的本质。本文也不是巨细靡遗的系统性探索，但你可以在这里看到别处不曾出现过的知识。 原理： Ditto. 3.5 腾讯云 qGPU 简介 qGPU == QoS GPU。它是目前业界唯一真正实现了故障隔离、显存隔离、算力隔离、且不入侵生态的容器 GPU 共享的技术。 3.5.1 qGPU 基本架构 qGPU 基本架构： ? 3.5.2 qGPU QoS 效果 ? 注释 【1】 测试数据来自 T4(chip: TU104)。 qGPU 是十几年来在英伟达 GPU 上实现 QoS 的最大突破。
15.5K158发布于 2021-06-02 - 来自专栏腾讯云原生团队
TKE qGPU 通过 CRD 管理集群 GPU 卡资源
背景 目前 TKE 已提供基于 qGPU 的算力/显存强隔离的共享 GPU 调度隔离方案，但是部分用户反馈缺乏 GPU 资源的可观测性，例如无法获取单个 GPU 设备的剩余资源，不利于 GPU 资源的运维和管理 我们的方案 我们通过 GPU CRD 扫描物理 GPU 的信息，并在 qGPU 生命周期中更新使用到的物理 GPU 资源，从而解决在共享 GPU 场景下缺少可见性的问题。 : containers: - container: test resource: tke.cloud.tencent.com/qgpu-core : tke.cloud.tencent.com/qgpu-core: "100" tke.cloud.tencent.com/qgpu-memory: "31" 每个 GPU 物理卡对应一个 控制台安装 qGPU 插件时选择使用 CRD 即可开启。
1.6K40编辑于 2022-05-26 - 来自专栏腾讯云原生团队
直播报名中｜TKE 下的 qGPU 容器虚拟化技术实践
【qGPU 容器产品全量上线，重磅发布 GPU 在离线混部功能】 该篇文章由腾讯云容器技术专家徐蓓所写，分享并介绍了腾讯云推出的 GPU 共享技术—— qGPU，支持在多个容器间共享 GPU 卡资源， 【云原生正发声】第十五期，我们邀请到了该篇文的作者——腾讯云容器技术专家徐蓓，来和大家分享 TKE 下的 qGPU 容器虚拟化技术实践。 本次直播主要介绍 TKE 如何凭借 qGPU 容器虚拟化技术为客户带来更高的业务部署密度及极致的 GPU 利用率。3月15日下周二晚19:30，【云原生正发声】等你一起探索、学习。 本次直播主要介绍 TKE 如何凭借 qGPU 容器虚拟化技术为客户带来更高的业务部署密度及极致的 GPU 利用率。 · 直播流程 · 19:30-20:15 讲师分享 20:15-20:30 互动问答 · 听众收益 · 了解业界 GPU AI 算力现状及主要问题； 了解业界 GPU 虚拟化技术现状 了解基于 qGPU
77640编辑于 2022-03-10 - 来自专栏腾讯云原生团队
TKE qGPU 通过两层调度解决 GPU 资源碎片问题
TKE qGPU 支持单个容器的百分比算力及显存 MB 级调度，同时支持分配单卡或者多卡，满足业务同时使用 GPU 共享及整卡独占的场景。 节点调度 TKE qGPU 定义了算力和显存两种 GPU 资源。TKE qGPU 调度器将每张卡算力切分成 100 份，每个算力单位代表 1% 整卡算力。显存为 MB 级切分。 这些资源会在节点 TKE qGPU device plugin 启动时自动发现和上报。TKE qGPU Scheduler 会在内存 cache 中维护节点与 GPU 卡的分配信息。 resources: limits: tke.cloud.tencent.com/qgpu-core: <100|200|300|...> // 整卡 TKE qGPU Scheduler 在预选阶段，qGPU Scheduler 会遍历每个节点找到最合适的 GPU 卡进行调度，具体由 GPU 卡调度器决策。在优选阶段，qGPU Scheduler 会根据两个资源分配率的加权平均打分。
2.5K20编辑于 2022-05-30 - 来自专栏腾讯云原生团队
今晚19:30｜TKE 下的 qGPU 容器虚拟化技术实践
【qGPU 容器产品全量上线，重磅发布 GPU 在离线混部功能】 该篇文章由腾讯云容器技术专家徐蓓所写，分享并介绍了腾讯云推出的 GPU 共享技术—— qGPU，支持在多个容器间共享 GPU 卡资源， 【云原生正发声】第十五期，我们邀请到了该篇文的作者——腾讯云容器技术专家徐蓓，来和大家分享 TKE 下的 qGPU 容器虚拟化技术实践。 本次直播主要介绍 TKE 如何凭借 qGPU 容器虚拟化技术为客户带来更高的业务部署密度及极致的 GPU 利用率。3月15日下周二晚19:30，【云原生正发声】等你一起探索、学习。 点击底部【阅读原文】或关注【腾讯云原生视频号】即可预约 直播主题：TKE 下的 qGPU 容器虚拟化技术实践 直播时间：3月15日 19:30—20:30 · 讲师介绍 · 徐蓓 腾讯云容器技术专家 本次直播主要介绍 TKE 如何凭借 qGPU 容器虚拟化技术为客户带来更高的业务部署密度及极致的 GPU 利用率。
98640编辑于 2022-03-16 - 来自专栏云服务业务
腾讯云代理商：快速搞定 qGPU + 云游戏服务器搭建指南
下面从选型、部署、配置、优化到测试，手把手带你快速搭建一套可商用的 qGPU 云游戏服务器。 一、qGPU 云游戏推荐机型推荐机型 & 规格（云游戏最优组合）· 入门 / 轻量手游：GN7（T4 16GB） → 切 4 个 qGPU（4GB 显存、25% 算力），适合原神、王者荣耀等手游 / 轻度端游 ，按需安装配置核心依赖打包镜像并推送到容器镜像服务（TCR），方便批量部署Step3：部署 qGPU 云游戏 Pod，分配虚拟 GPU编写cloud-game.yaml，自行按需关键配置（qGPU 核心 购买 GN7/GI3 CVM，选择带 qGPU 的 GPU 镜像，开机后自动启用 qGPU 虚拟化2. 安装 GRID 驱动、Sunshine/Moonlight、Steam3. 用qgpu-split工具切分 GPU：qgpu-split --gpu 0 --memory 4096 --core 25，生成 4 个虚拟 GPU4.
4620编辑于 2026-06-15 - 来自专栏腾讯云原生团队
qGPU 容器产品全量上线，重磅发布 GPU 在离线混部功能
qGPU 已服务内外部大量客户，帮助众多 AI 企业节省大量 GPU 成本。qGPU 容器虚拟化产品现已在腾讯云 TKE 全量上线。 qGPU 算力可以实现 1% 的细粒度限制，并且保证严格按照配比分配和限制算力资源，即使在 GPU 资源非常紧张时，各业务所分配算力资源依然保证不受影响。 通过这种创新技术，qGPU 解决了故障、显存和算力全维度的隔离问题。 可以说，腾讯云 qGPU 在离线混部是提升 GPU 利用率的创新性的突破技术。 qGPU 容器虚拟化： （扫码了解 qGPU 容器虚拟化） 重磅介绍 【燎原社】推出了专业而又系统的线下云原生技术实战营，需要系统化深入学习的同学，可扫码报名云原生技术实战营课程，腾讯云技术专家现场教学
1.6K30编辑于 2022-03-10 - 来自专栏腾讯云原生团队
qGPU on TKE - 腾讯云发布下一代 GPU 容器共享技术
qGPU on TKE 依托腾讯云 TKE 对外开源的 Nano GPU 调度框架[1]，可实现对 GPU 算力与显存的细粒度调度，并支持多容器共享 GPU 与多容器跨 GPU 资源分配。 同时依赖底层强大的 qGPU 隔离技术，可做到 GPU 显存和算力的强隔离，在通过共享使用 GPU 的同时，尽最大可能保证业务性能与资源不受干扰。 qGPU 直接采用英伟达 GPU 底层硬件特性进行调度，实现细粒度算力隔离，打破传统上 CUDA API 劫持方案的只能以 CUDA Kernel 为粒度进行算力隔离的限制，提供更好的 QoS 保证。 客户收益 多任务灵活共享 GPU，提升利用率 GPU 资源强隔离，业务共享不受影响 完全面向 Kubernetes，业务使用零成本 未来规划 支持细粒度资源监控：qGPU on TKE 将支持对 Pod qGPU 算力池化：基于 qGPU 的 GPU 算力池化，实现 CPU、内存资源与异构计算资源解耦 内测申请 qGPU 已经开放免费内测，欢迎添加腾讯云原生小助手备注”qGPU内测申请“进行试用！
3.3K52发布于 2021-09-10 - 来自专栏云服务业务
腾讯云代理商：手把手教你用腾讯云 qGPU 部署 Stable Diffusion
安全组放行端口· 放行 7860（SD WebUI）、80（负载均衡） 端口，允许公网访问；仅内网使用则放行内网网段二、核心步骤：qGPU 切分 + SD 部署1. 编写 qGPU 资源配置（关键！） qGPU 通过 K8s 资源注解实现显存 / 算力分配，不修改 SD 任何代码，直接在 Deployment 中声明： # qGPU核心配置：算力百分比、显存MB（A10 24GB=24576MB ） tke.cloud.tencent.com/qgpu-core: "30" # 分配30%算力（满足SD推理） tke.cloud.tencent.com/qgpu-memory: " 1/4、并发 4 倍· 单 T4（16GB）：切 3 个实例 → 每个qgpu-core:33、qgpu-memory:5120（5GB），成本 1/3、并发 3 倍2. 保存 YAML 为sd-qgpu.yaml，执行部署：kubectl apply -f sd-qgpu.yaml2.
24320编辑于 2026-04-20 - 来自专栏腾讯云原生团队
使用 Elastic GPU 管理 Kubernetes GPU 资源
以 TKE qGPU 为例，在 GPU Sharing 方式下，扩展资源从 GPU 卡数量变为百分比的 qGPU Core 与 MB 的 qGPU Memory。 比如在 TKE qGPU 中，我们自研了 tke-qgpu-scheduler 用于 GPU 细粒度算力与显存分配调度，配套的 tke-qgpu-manager，用于节点初始化、注册上报 qGPU 资源及 qGPU 容器虚拟化。 qGPU 资源创建 qgpu-manager 会 watch ElastciGPU CRD 变化，在绑定节点成功后，会执行创建 qGPU 设备的操作。 最后，我们依赖 qgpu-container-runtime 进行 qGPU 设备与容器的绑定工作。
4.1K60编辑于 2022-04-21 - 来自专栏云服务业务
腾讯云代理商：解密腾讯云 qGPU 弹性共享 GPU 资源的三大应用场景
qGPU 依托驱动层虚拟化技术，实现 MB 级显存、1% 算力的精细切分与强隔离，结合云原生调度与独有的在离线混部能力，精准解决多业务并发、成本压力、训推一体等核心痛点。 qGPU 方案实战价值· 部署密度提升 3 倍 +：单卡承载多模型 / 服务，并发处理能力翻倍· 成本直降 40%+：按实际显存 / 算力配额计费，避免整卡闲置· 业务无感兼容：支持 PyTorch 等主流框架 qGPU 方案实战价值· 资源利用率拉满至 95%+：硬件级 QoS 保障在线任务优先级· 训推一体高效：离线训练周期缩短 30%，数据蒸馏成本降 50%+· 自动填充闲时算力：实现资源 100% 利用场景三 ↑至 95%+，训练周期↓30%碎片化算力聚合单卡闲置 + 多卡通信损耗跨物理卡资源聚合 + NCCL 兼容优化训练效率↑25%+，硬件成本↓30%+总结：qGPU 通过三大核心能力 ——精细隔离（MB 碎片化算力聚合：提升大模型训练效率从初创企业到规模化 AI 业务，qGPU 以 "轻技术 + 高性价比" 让 GPU 资源真正实现用得满、用得稳、用得省，推动 AI 降本增效进入新阶段。
18920编辑于 2026-04-21 - 来自专栏云服务业务
腾讯云代理商: 腾讯云qGPU是什么？怎么破解算力浪费难题？
腾讯云自研的qGPU技术，完美解决了这些痛点。 一、qGPU是什么？ qGPU是腾讯云推出的GPU共享虚拟化技术，通过底层智能调度，使单张NVIDIA GPU卡可被多个容器共享使用，并实现显存和算力的严格隔离。 qGPU就像GPU的“智能分配器”，打破“一张GPU对应一个任务”的局限，尤其适合多任务并行场景。 qGPU依托腾讯云TKE开源的Elastic GPU框架，支持GPU算力与显存的细粒度调度，还支持多容器跨GPU资源分配，提升利用率。 qGPU 方案框架图如下：二、6大核心优势 腾讯云qGPU的核心价值在于不牺牲性能、不增加操作成本，却能大幅提升GPU利用率、降低投入。
9820编辑于 2026-06-10 - 来自专栏云服务业务
腾讯云代理商：腾讯云 qGPU 实战 低成本部署Stable Diffusion 方案
一、为什么选择腾讯云 qGPU 部署 SD？ 随着 AIGC 应用爆发式增长，GPU 资源利用率低、成本高成为痛点。 腾讯云 qGPU 技术通过 GPU 算力 / 显存隔离，实现单卡多容器共享，显著提升资源利用率： · ✅ 50% 成本下降：单张 A10 显卡可同时服务 2-4 个 SD 实例 · ✅ 灵活扩缩容：按需分配算力 控制台操作： · 容器服务 → 目标集群 → 组件管理 → 添加 qGPU 组件 · 调度策略选择 binpack（提升 GPU 碎片利用率） 2. 开启共享： 集群开启 qGPU 共享qgpu 3.阶段三：部署 SD 工作负载 核心 YAML按需配置： 避坑指南： · qgpu-core <100 时必须显式指定 qgpu-memory · 镜像需提前上传至 腾讯云 TCR 镜像仓库 三、方案价值总结 通过腾讯云 qGPU + TKE + CFS 组合： 1.
21220编辑于 2026-04-15 TKE注册节点驱动IDC轻量化上云：资源利旧、成本优化与统一调度的实践路径
资源利用率提升：GPU通过qGPU 10%算力切分共享，利用率提升70%；在离线混部CPU利用率提升300%；IDC资源利用率最高提升5倍（材料来源：同前）。 案例2：qGPU物理机利旧轻量上云（外部客户） 客户诉求：云上5套TKE+3套EKS+云下2自建集群（各100+节点）统一管理，提升GPU利用率。 方案：北京/宁波机房物理机加入云北京/上海TKE，云上一键交付qGPU。 收益：云上统一运维（分钟级构建混合云集群）；GPU利用率提升70%（10%算力切分共享）；云上5分钟完成qGPU交付。 腾讯云技术领先性支撑 qGPU虚拟化：腾讯云推出GPU容器虚拟化产品，支持厘核级算力隔离、多优先级混部、业界唯一在离线混部能力，性能零损耗（材料来源：腾讯全球数字生态大会“注册节点应用场景-qGPU 提升
18010编辑于 2026-04-29- 来自专栏云服务业务
腾讯云代理商：腾讯云qGPU+TRTC 实时音视频 AI 处理的黄金组合
腾讯云将qGPU 精细化算力调度与TRTC 超低延迟实时传输深度融合，打造 “传输 + 计算” 一体化的实时音视频 AI 处理黄金组合，让高清、流畅、智能的实时互动触手可及。 qGPU：AI 处理的算力魔方自研内核级 GPU 虚拟化技术，支持算力与显存强隔离、精细切分（最小 1GB）、多任务共享。 二、黄金组合：1+1 > 2 的实时 AI 能力当 TRTC 的 “高速路” 遇上 qGPU 的 “超级算力”，实时音视频从 “清晰流畅” 升级为 “智能沉浸”：实时高清 AI 增强，画质秒级优化o 多路 4K/1080p 视频流实时超分、降噪、去模糊o 弱网下 AI 补帧，卡顿率降低 75%+o qGPU 多任务并行，单卡支撑数十路 AI 画质增强，成本下降 60%+实时 AI 分析与内容理解o 直播 合规审核o 医疗 / 教育：手势识别、表情分析、知识点标注、行为监测o 全链路时延 < 500ms，互动无感知大规模并发，弹性扩缩o 支撑单房间 100 路 4K 上行、10 万级观众的超大规模场景o qGPU
24320编辑于 2026-04-28 - 来自专栏用户5909132的专栏
Stable Diffusion 腾讯云云原生容器部署实践
根据部署对 GPU 共享的需求，可选择开启 qGPU，本文第四部分会介绍 TKE+qGPU 的使用。 采用 qGPU 方式，需要先将 Pod 的资源申请方式进行修改。 /qgpu-memory 的数值设置为 A10 显存的一半。 注意，在 tke.cloud.tencent.com/qgpu-core 为100的整倍数时，可以不写 qgpu-memory，默认分配整卡显存。 qGPU 参考：容器服务使用 qGPU。
2.3K21编辑于 2023-06-07 - 来自专栏腾讯云原生团队
Stable Diffusion 腾讯云云原生容器部署实践
根据部署对 GPU 共享的需求，可选择开启 qGPU，本文第四部分会介绍 TKE+qGPU 的使用。 采用 qGPU 方式，需要先将 Pod 的资源申请方式进行修改。 /qgpu-memory 的数值设置为 A10 显存的一半。 注意，在 tke.cloud.tencent.com/qgpu-core 为100的整倍数时，可以不写 qgpu-memory，默认分配整卡显存。 qGPU 参考：容器服务使用 qGPU。
3.6K21编辑于 2023-05-16 - 来自专栏AI智韵
云原生技术赋能AI绘图：Stable Diffusion在腾讯云的部署与应用新篇章
根据部署对 GPU 共享的需求，您可以选择开启 qGPU，如何开启qGPU接下来的步骤会讲。 将 GPU 资源的卡数设置为1，如果开启了 qGPU，您还可以填写0.1-1之间的数值，对 GPU 卡进行虚拟化切分。 在这里，我们采用 TKE qGPU 能力，将多个实例 Pod 运行在同一张 A10 卡上。在保障业务稳定性的前提下，切分显卡资源，降低部署成本。 采用 qGPU 方式，您需要先将 Pod 的资源申请方式进行修改。 同时，您还需要将 tke.cloud.tencent.com/qgpu-memory 的数值设置为 A10 显存的一半。
72910编辑于 2024-10-22 - 来自专栏腾讯云原生团队
11月腾讯云容器产品技术月报｜转发集赞抢腾讯周边
TKE虚拟节点池 支持sidecar启动保障，确保sidecar ready后再启动业务Pod 提供wasm部署工具，支持按照label筛选，批量部署二进制或镜像格式的wasm filter 腾讯云qGPU 容器 提高 GPU 使用率、降低客户成本 腾讯云 TKE 联合虚拟化团队推出 qGPU 容器共享产品，支持在多个容器间共享 GPU 卡并提供容器间显存、算力强隔离的能力，从而在更小粒度的使用 GPU 卡的基础上 qGPU 支持单容器多卡，可支持绑定多张整卡或一张分数卡 qGPU 支持 GPU 监控，可支持 GPU 卡 / Pod / 容器 级利用率监控 qGPU 支持 TKE 黑石集群，并支持 ampere 架构 GPU 卡 qGPU 支持离在线混部功能，可支持在线推理与离线训练的原生优先级调度 TKE qGPU 目前处于免费内测阶段，扫码立即申请 更多详情见： https://cloud.tencent.com
5.6K51发布于 2021-12-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号