首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏腾讯云原生团队

    GPU虚拟,算力隔离,和qGPU

    但这里并不是要重新介绍完整的 GPU 虚拟的方案谱系。而是,我们将聚焦在英伟达 GPU + CUDA 计算领域,介绍下我们最新的技术突破 qGPU,以及它的意义究竟是什么。 关于 GPU 虚拟的历史性介绍,我将直接摘抄当时的讨论。 这也不是一篇介绍 TKE qGPU 产品特性的文章。而是,我们将潜入到前所未有的深度,去探索 GPU 调度和 QoS 的本质。 CPU 虚拟由 VT-x/SVM 解决,内存虚拟由 EPT/NPT 解决,这些都是非常确定的。但设备虚拟呢? 3.5.1 qGPU 基本架构 qGPU 基本架构: ? 3.5.2 qGPU QoS 效果 ? 注释 【1】 测试数据来自 T4(chip: TU104)。 8. Tesla Driver 官方。细节全藏在 nv-kernel.o_binary 文件中。 9. GRID vGPU 官方。细节也是全在 nv-kernel.o_binary 文件中。

    15.4K158发布于 2021-06-02
  • 来自专栏腾讯云原生团队

    今晚19:30|TKE 下的 qGPU 容器虚拟技术实践

    【云原生正发声】第十五期,我们邀请到了该篇文的作者——腾讯云容器技术专家徐蓓,来和大家分享 TKE 下的 qGPU 容器虚拟技术实践。 本次直播主要介绍 TKE 如何凭借 qGPU 容器虚拟技术为客户带来更高的业务部署密度及极致的 GPU 利用率。3月15日下周二晚19:30,【云原生正发声】等你一起探索、学习。 点击底部【阅读原文】或关注【腾讯云原生视频号】即可预约 直播主题:TKE 下的 qGPU 容器虚拟技术实践 直播时间:3月15日 19:30—20:30 · 讲师介绍 · 徐蓓 腾讯云容器技术专家 本次直播主要介绍 TKE 如何凭借 qGPU 容器虚拟技术为客户带来更高的业务部署密度及极致的 GPU 利用率。 的 TKE GPU 容器虚拟产品技术原理及架构; 了解客户 TKE 是如何利用 qGPU 容器虚拟技术帮助客户降本; 关注【腾讯云原生】公众号,后台回复【直播】二字,即可获取上期直播的演讲PPT,

    94340编辑于 2022-03-16
  • 来自专栏腾讯云原生团队

    直播报名中|TKE 下的 qGPU 容器虚拟技术实践

    【云原生正发声】第十五期,我们邀请到了该篇文的作者——腾讯云容器技术专家徐蓓,来和大家分享 TKE 下的 qGPU 容器虚拟技术实践。 本次直播主要介绍 TKE 如何凭借 qGPU 容器虚拟技术为客户带来更高的业务部署密度及极致的 GPU 利用率。3月15日下周二晚19:30,【云原生正发声】等你一起探索、学习。 直播主题:TKE 下的 qGPU 容器虚拟技术实践 直播时间:3月15日 19:30—20:30 · 讲师介绍 · 徐蓓腾讯云容器技术专家腾讯云 GPU 容器虚拟产研负责人,多年云计算一线架构设计与研发经验 本次直播主要介绍 TKE 如何凭借 qGPU 容器虚拟技术为客户带来更高的业务部署密度及极致的 GPU 利用率。 的 TKE GPU 容器虚拟产品技术原理及架构; 了解客户 TKE 是如何利用 qGPU 容器虚拟技术帮助客户降本; 关注【腾讯云原生】公众号,后台回复【直播】二字,即可获取上期直播的演讲PPT,

    73740编辑于 2022-03-10
  • 来自专栏嵌入式ARM和Linux

    ARMv8虚拟基础知识

    1 概述 2 虚拟化简介 3 AArch64虚拟 4 `Stage-2`地址转换 5 指令的陷入和模拟 6 虚拟异常 7 虚拟通用定时器 8 虚拟主机扩展 9 嵌套虚拟 10 安全空间的虚拟 11 虚拟的成本 12 小测验 13 其它参考文章 14 接下来的计划 1 概述 本文描述了ARMv8-64的虚拟支持。 为了使能这些机制,ARMv8架构支持虚拟中断:vIRQ、vFIQ和vSError。这些虚拟中断的行为与物理中断(IRQ、FIQ和SError类似,但只能在EL0或EL1上执行时发出信号。 (参考另一篇文章《GICv3-软件概述》的第8章) 让我们从机制1开始。HCR_EL2中,有3个标志位控制虚拟中断的产生: VI:设置该标志位注册一个vIRQ中断。 8 虚拟主机扩展 下图展示了一个软件和异常级别对应关系的简化版本: 可以看到独立hypervisor和ARM异常级别的对应关系。hypervisor运行在EL2上,VM运行在EL0/1上。

    3.3K41编辑于 2022-08-15
  • 来自专栏cloudskyme

    虚拟平台cloudstack(8)——从UI开始

    处理简单列举一下4.1中API的新特性 在VM中重新配置物理网络 支持IPV6 扩展VMX设置 重新设置SSH密钥来访问虚拟机 在4.1中改变的API命令: API Commands Description serviceOfferingId=1&diskOfferingId=1&templateId=2&zoneId=4&apiKey=miVr6X7u6bN_sdahOBpjNejPgEsT35eXq-jB8CG20YI3yaxXcgpyuaIRmFI_EJTVwZ0nUkkJbPmY3y2bciKwFQ &signature=Lxx1DM40AjcXU%2FcaiK8RAP0O1hU%3D 更容易读的方式: http://localhost:8080/client/api ? serviceOfferingId=1 &diskOfferingId=1 &templateId=2 &zoneId=4 &apiKey=miVr6X7u6bN_sdahOBpjNejPgEsT35eXqjB8CG20YI3yaxXcgpyuaIRmFI_EJTVwZ0nUkkJbPmY3y2bciKwFQ &signature=Lxx1DM40AjcXU%2FcaiK8RAP0O1hU%3D

    1.3K60发布于 2018-03-20
  • 来自专栏ADAS性能优化

    Armv8架构虚拟介绍

    本文描述了Armv8-A AArch64的虚拟支持。包括stage 2页表转换,虚拟异常,以及陷阱。本文介绍了一些基础的硬件辅助虚拟理论以及一些Hypervisor如何利用这些虚拟特性的例子。 你将能描述Hypervisor可以产生什么虚拟异常以及产生这些虚拟异常的机制。理解本文内容需要一定基础,本文假定你熟悉ARMv8体系结构的异常模型和内存管理。 2 AArch64的虚拟 对于ARMv8, Hypervisor运行在EL2异常级别。只有运行在EL2或更高异常级别的软件才可以访问并配置各项虚拟功能。 虚拟机视角的物理地址在Armv8中有特定的词描述,叫中间物理地址(intermediate Physical Address, IPA)。 Armv8提供了vIRQs, vFIQs, 和vSErrors来支持虚拟中断。

    1.2K20编辑于 2022-05-13
  • 来自专栏人人都是极客

    万字剖析 Armv8 架构虚拟

    综述 本文描述了Armv8-A AArch64的虚拟支持。包括stage 2页表转换,虚拟异常,以及陷阱。 你将能描述Hypervisor可以产生什么虚拟异常以及产生这些虚拟异常的机制。理解本文内容需要一定基础,本文假定你熟悉ARMv8体系结构的异常模型和内存管理。 AArch64的虚拟 对于ARMv8, Hypervisor运行在EL2异常级别。只有运行在EL2或更高异常级别的软件才可以访问并配置各项虚拟功能。 虚拟机视角的物理地址在Armv8中有特定的词描述,叫中间物理地址(intermediate Physical Address, IPA)。 Armv8提供了vIRQs, vFIQs, 和vSErrors来支持虚拟中断。

    1.5K30编辑于 2022-07-18
  • 来自专栏cloudskyme

    虚拟技术(2)——存储虚拟

    根据在I/O路径中实现虚拟的位置不同,虚拟存储可以分为主机的虚拟存储、网络的虚拟存储、存储设备的虚拟存储。根据控制路径和数据路径的不同,虚拟存储分为对称虚拟与不对称虚拟。 通过存储虚拟,应用程序就不会再与某个物理性的存储程序相联系了。 存储虚拟可能帮助帮助存储容量扩增自动。不需要手动的配置,存储虚拟能够运用策略,分配更多的存储容量给所需的应用。 三层模型 根据云存储系统的构成和特点,可将虚拟存储的模型分为三层:物理设备虚拟层、存储节点虚拟层、存储区域网络虚拟层。 这个虚拟层由虚拟存储管理模块在虚拟存储管理服务器上实现,以带外虚拟方式管理虚拟存储系统的资源分配,为虚拟磁盘管理提供地址映射、查询等服务。 利用虚拟技术,可以在统一的虚拟基础架构中,实现跨数据中心的虚拟管理。 政府信息系统:政府数据存储系统的建设正受到前所未有的重视。

    7.9K60发布于 2018-03-20
  • 来自专栏Flowlet

    Intel 虚拟技术(Intel® VT):CPU 虚拟与内存虚拟

    1、Intel® VT 虚拟技术概述 狭义的 Intel® VT 主要提供分别针对处理器、芯片组、网络的虚拟技术。 抽象虚拟机硬件:即虚拟层呈现的虚拟的硬件设备。虚拟机能够发现哪种硬件设施,完全由 VMM 决定。 2.4 X86 平台的虚拟 ---- 正是因为 x86 平台指令集有上述缺陷,所以为了计算虚拟技术在 x86 平台应用,各大虚拟厂商推出了五花八门的虚拟技术,其目的都是围绕“如何捕获模拟这 19 3、内存虚拟 大型操作系统(比如 Linux)的都是通过虚拟内存进行内存管理,内存虚拟需要对虚拟内存再进行虚拟。 内存虚拟技术主要包含两个方面:内存地址转换和内存虚拟管理。 3.2 内存虚拟管理技术 ---- 在虚拟环境中,内存是保证虚拟机工作性能的关键因素。

    7.2K40编辑于 2023-08-11
  • 来自专栏科控自动化

    虚拟

    目前为止还没有连载完. 2021年10月10日 1 虚拟技术简介 1.1 虚拟概念 顾名思义,虚拟是指计算元件在虚拟的基础而不是在真实的基础上运行。 ,只需在虚拟层上运行操作系统和应用软件,和物理平台无关 在家用计算机的上安装常规软件属于非虚拟,而在办公计算机上安装虚拟软件就属于虚拟应用了,典型的非虚拟虚拟的物理架构如图1-1 所示 图1-7 可以将物理网卡视作虚拟交换机,虚拟机的虚拟网卡视作虚拟交换机的端口,这样可以轻松实现虚拟机的跨物理服务器访问,如图1-8 所示。 图1-8 2 虚拟架构 在前面章节中介绍的两种虚拟架构,除了原理和配置不同外,操作方式也有很大区别,如图2-1 所示。 图3-7 ESXi 的Web 客户端无需安装,可以直接在Web 浏览器中输入章节3.1.1 中配 置的IP 地址、用户名和密码即可访问,如图3-8 和3-9 所示。

    3.5K31编辑于 2022-03-29
  • 来自专栏0x7c00的专栏

    虚拟

    虚拟 發佈於 2021-08-16 今天给公司搭建虚拟平台,对其中用到的一些知识进行整理。 虚拟平台 ---- 我们常说的虚拟可以分为两种类型: TYPE I 和 TYPE II。 我们常见的 VMWare Workstation、VirtualBox、Parallels Desktop、Hyper-V 等均属于二型虚拟软件,他们需要运行于宿主操作系统。 而企业级虚拟平台例如 VMWare vSphere、KVM、Hyper-V server 等则属于一型虚拟,他们直接运行于裸金属服务器。 公司虚拟平台 ---- 公司新买的 DELL 服务器今天到了,要搭建虚拟平台,由于自己对 ESXi 比较熟悉,因此决定采用该软件进行平台搭建。 创建虚拟机 创建虚拟机前,我们要先在存储中上载对应操作系统的镜像文件,创建虚拟机过程非常简单,在此不再赘述。

    2.6K50发布于 2021-10-29
  • 来自专栏sktj

    虚拟

    yum install -y docker* docker pull nignx docker pull centos docker version docker search centos docker images docker pull centos docker ps -a docker -i -t -d centos /bin/bash

    2K20发布于 2019-09-20
  • 来自专栏计算机技术-参与活动

    虚拟技术实现;容器和虚拟

    目录虚拟技术实现1. GPU虚拟技术2. CPU虚拟技术3. 容器虚拟技术4. 存储和网络虚拟技术5. 算力并网技术容器和虚拟1. 隔离性2. 资源利用率3. 启动时间4. 部署方式实例说明一种软件实现各类厂商多种型号算力资源池虚拟虚拟技术实现算力共享平台在实现过程中,通常会采用多种虚拟技术来优化算力资源的分配和利用。 CPU虚拟技术CPU虚拟是算力共享平台中的基础技术之一。通过CPU虚拟,平台可以在物理服务器上运行多个虚拟机(VM),每个虚拟机都拥有独立的CPU资源。 容器虚拟技术容器虚拟是一种轻量级的虚拟方式,它共享操作系统内核,但与其他容器隔离运行。在算力共享平台中,容器技术(如Docker)被广泛应用于快速部署和隔离不同的应用或服务。 算力共享平台通常利用存储虚拟技术来管理海量数据,为不同用户提供高效的存储服务。网络虚拟:将网络资源进行隔离和虚拟,提高网络资源的利用率和安全性。

    1.1K21编辑于 2024-09-18
  • 来自专栏腾讯云原生团队

    qGPU 容器产品全量上线,重磅发布 GPU 在离线混部功能

    qGPU 已服务内外部大量客户,帮助众多 AI 企业节省大量 GPU 成本。qGPU 容器虚拟产品现已在腾讯云 TKE 全量上线。 (qGPU 容器虚拟产品:https://cloud.tencent.com/document/product/560/66232) 腾讯云在业界(除 NVIDIA 原厂外)首次实现了对细粒度算力强隔离的支持 qGPU 容器虚拟: (扫码了解 qGPU 容器虚拟) 重磅介绍 【燎原社】推出了专业而又系统的线下云原生技术实战营,需要系统深入学习的同学,可扫码报名云原生技术实战营课程,腾讯云技术专家现场教学 ,3天搞定云原生容器改造过程中的实际问题,扫码一键直达:   往期精选推荐   Kubernetes 网络疑难杂症排查分享 腾讯云私有容器平台之网络 【Pod Terminating原因追踪系列之二 】exec连接未关闭导致的事件阻塞 性能提升40%: 腾讯 TKE 用 eBPF绕过 conntrack 优化K8s Service CODING DevOps + Nginx-ingress 实现自动灰度发布

    1.5K30编辑于 2022-03-10
  • 来自专栏运维技术迷

    RHEL下KVM虚拟部署-安装虚拟

    ) 3.虚拟网络类型 3.1桥接 Guest和Host连接到同一个交换机上(同一个网络内),通过桥接物理网卡,相当于直接连接到Host所在的网络 3.2 隔离模式 Guest可以访问统一虚拟交换机上的其他 充当路由器,开启转发(需要额外设置外网与Guest之间互访的路由) 二、安装KVM 1.安装KVM虚拟相关包组 [root@svr5 桌面]# yum groupinstall virtualization virtualization Client” “virtualization Platform” 注意:如果操作系统语言是中文的话,需要使用中文.例如↓: [root@svr5 桌面]# yum groupinstall 虚拟 虚拟平台 虚拟化工具 虚拟客户端 2.启动服务/设置服务为开机启动 [root@svr5 桌面]# /etc/init.d/libvirtd restart [root@svr5 桌面]# chkconfig 2.新建并安装一台虚拟机 ? ? ? ? ? ? ? 至此,一台新的KVM虚拟机就创建完成了。

    2K30发布于 2018-03-26
  • 来自专栏云服务业务

    腾讯云代理商:手把手教你用腾讯云 qGPU 部署 Stable Diffusion

    腾讯云qGPU+TKE 容器组合,能把单张 A10/T4 GPU 切分成多个独立虚拟 GPU,显存成本直降 75%、单卡并发提升 3 倍,还能做到容器强隔离、性能零损耗。 开通 TKE 容器集群 + GPU 节点· 登录腾讯云控制台,创建托管 TKE 集群(K8s 1.26+),Worker 节点选GPU 计算型 PNV4(A10 24GB)/GN7(T4 16GB),勾选自动安装 GPU 驱动、CUDA 11.7+、cuDNN· 节点规格:CPU 8 核、内存 32GB、系统盘 100GB、数据盘 200GB(存 SD 模型 / 插件)· 关键:集群开启qGPU 插件(TKE 控制台 - 组件管理 - 安装 qGPU 设备插件),启用 GPU 虚拟能力2. qGPU 通过 K8s 资源注解实现显存 / 算力分配,不修改 SD 任何代码,直接在 Deployment 中声明:    # qGPU核心配置:算力百分比、显存MB(A10 24GB=24576MB

    13120编辑于 2026-04-20
  • 来自专栏python基础文章

    云计算——内存虚拟与IO虚拟

    座右铭:低头赶路,敬事如仪 个人主页:网络豆的主页​​​​​  前言 本章将会讲解云计算,内存虚拟的知识 一.内存虚拟 内存虚拟抽象了物理内存,虚拟机每个进程都被赋予一块连续的,超大的虚拟内存空间 1.内存虚拟类型 全虚拟虚拟 硬件辅助内存虚拟 ---- 全虚拟 为每个VM维护一个影子页表记录虚拟内有与物理内存的映射关系。 内存复用技术有: 内存气泡:虚拟层将较空闲VM内存,分配给内存使用较高的虚拟机。内存的回收和分配由虚拟层实现,虚拟机上的应用无感知,提高物理内存利用率。 开启了内存虚拟(这里以物理内存150%)物理内存由6G变为逻辑上的9G(虚拟上的9G)则每台虚拟机内存为3G. ---- 二.I/O虚拟 1.I/O虚拟类型 ---- 全虚拟 通过软件模拟的形式模拟 硬件辅助虚拟 通过硬件的辅助可以让虚拟机直接访问物理设备,而不需要通过VMM。

    1.4K30编辑于 2023-10-17
  • 来自专栏腾讯云原生团队

    qGPU on TKE - 腾讯云发布下一代 GPU 容器共享技术

    timxbxu,腾讯云专家工程师,深耕云计算、Kubernetes、离在线混部、GPU 容器领域,Kubernetes 社区积极贡献者。 jikesong,腾讯云异构计算研发负责人,KVM上第一个 GPU 全虚拟项目 KVMGT 作者,对 GPU 虚拟有深入的研究。 同时依赖底层强大的 qGPU 隔离技术,可做到 GPU 显存和算力的强隔离,在通过共享使用 GPU 的同时,尽最大可能保证业务性能与资源不受干扰。 qGPU 算力池:基于 qGPU 的 GPU 算力池,实现 CPU、内存资源与异构计算资源解耦 内测申请 qGPU 已经开放免费内测,欢迎添加腾讯云原生小助手备注”qGPU内测申请“进行试用! 腾讯云 TKE Everywhere 特性发布,用户可在自有基础设施中托管 K8s 服务 Getting Started and Beyond|云原生应用负载均衡选型指南 被集群节点负载不均所困扰?

    3.2K52发布于 2021-09-10
  • 来自专栏腾讯云原生团队

    使用 Elastic GPU 管理 Kubernetes GPU 资源

    Kubernetes 节点部署 nvidia-device-plugin,插件扫描节点 GPU 卡,会以 extended resource 机制将 GPU 资源以类似nvidia.com/gpu: 8的形式注册到节点中 也就是说,用户可通过 qGPU 容器虚拟技术,申请小于一张卡的 qGPU 虚拟设备。这些设备是在单张物理卡上虚拟出来的,资源之间也是强隔离的。 qGPU 容器虚拟。 EGPUClass:EGPUClass 提供了生产和挂载 ElasticGPU 的方式,可以使用 qGPU 虚拟、vCUDA、或是 GPU 远端池的技术。 Elastic GPU 第一步会聚焦在 CRD 定义以及交互流程标准,并首先适配 TKE qGPU

    4K60编辑于 2022-04-21
  • 来自专栏CSDN专栏

    (云计算HCIP)HCIP全笔记(十三)本篇介绍虚拟技术,内容包含:虚拟资源、虚拟过程、IO虚拟虚拟架构KVM和Xen介绍、主流虚拟技术介绍

    虚拟资源 1.1 虚拟对象 CPU虚拟: 目标是使虚拟机上的指令能被正常执行,且效率接近物理机 内存虚拟: 目标是能做好虚拟机内存空间之 间的隔离,使每个虚拟机都认为自己拥有了整个内存地址 1.2 虚拟过程 全虚拟: 使用VMM实现CPU、内存、设备I/O的虚拟,而Guest OS和计算机系统硬件都不需要进行修改。 优点 缺点 不需要修改guest os 虚拟层的开销大 半虚拟: 使用VMM实现CPU和内存虚拟,设备I/O虚拟由Guest OS实现。 优点 缺点 虚拟层开销小,性能好 需要修改guest os 硬件辅助虚拟: 借助硬件(主要是处理器)的支持来实现高效的全虚拟。 优点 缺点 让物理硬件直接支持虚拟功能能够识别敏感指令 需要CPU支持虚拟 1.3 IO 虚拟虚拟 VM–>Hypervisor–>QEMU(Domain0)–>IO设备 半虚拟

    41221编辑于 2025-10-13
领券