- 综合排序
- 最热优先
- 最新优先
- 来自专栏深度学习与python
一文看懂业界在离线混部技术
(注：离在线混部计划另文阐述) 图 1 混部示意图 在离线混部的成本价值 为了更形象的了解在离线混部的成本价值，我们来看一个中小型企业，4 核 8G 的机器一共有 1000 台，主要计算资源就是 阿里等大厂也成功借助混部将资源利用率提升了 3 倍以上，成本节省可观。 在离线混部的技术门槛 在离线混部虽然有明显的成本价值，但目前真正落地到生产环境的还是只有头部的一些大厂。 引入在离线混部之后，势必需要打破部门墙，对成本和利用率计算有一个能融合能分解的调整，才能准确反映出混部的巨大成本价值并持续精细化运营。 以下是美团某部门精细化成本运营后的分解图： 图 2 成本指标分解图 业界在离线混部方案解析 方案拆分 通过对目前业界在离线方案方案的分析，我们可以抽象出在离线混部方案的三个划分维度： 从在离线混部的隔离类型上 如果服务是混部于同一台物理机上，属于共享内核；如分属于不同物理机，则属于独占内核。 从在离线混部的部署底座上，可以分为物理机部署和容器部署。 从在离线混部的调度决策上，可以分为静态决策和动态决策。
1.9K31编辑于 2022-03-22 - 来自专栏腾讯大数据的专栏
Caelus—全场景在离线混部解决方案
本篇文章结合腾讯技术团队在混部方面的落地和实战经验，来介绍各类场景下在线离线混部的相关概念、面临的问题及混部技术方案，抛砖引玉，供大家交流。 第一种方式适合不同类型的应用混部，应用之间资源互补，高峰时段错开。若是同种类型的应用，应用都在同一时段处于高峰，这种情况适合第二种方式。本篇文章主要是讲基于方式二的混部，即在线离线混部。 图2 混部的场景 业内研究 在线离线混部对于提高集群利用率是非常有意义的，无论是在学术界，还是各大厂商实际落地，都对混部做了深入的研究。 7、资源动态隔离 离线可用资源量计算表达式为：资源量 = 总资源 - 预测资源 - 预留资源，且一直处于动态调整过程中。资源隔离，这应该是混部的核心，依赖底层OS进行隔离，主要是cgroup功能。 图7 Cgroups目录 8、干扰检测 虽然我们实现了几种主要资源的管理，但由于底层技术限制，部分资源的管理还不完善，并且竞争资源不仅仅是这些，所以，为了保证安全混部，还要增加干扰检测和冲突处理。
10K71发布于 2020-12-14 - 来自专栏深度学习与python
4 个月节省千万成本的机器学习混部实践
在今年 9 月份的 QCon 全球软件开发大会（北京站），贝联珠贯 (www.lccomputing.com) 合伙人王元良老师以《增强型 RunC 的最佳实践：克服离线高压力混部场景的关键挑战》为题， 所以在混部出让算力时，优先需要考虑的是高压力场景下，业务如何稳定运行的问题。 二级告警，LCC-Agent 通知 NM NM 会调整心跳时间 NM 会根据任务的优先级，优先 KILL 低优先级任务 三级告警，LCC-Agent 直接 kill 非白名单进程 机器夯死问题得到解决，混部解决掉最关键的资源卡点问题 集群维度感知，先于业务发现问题 前期为了了解客户混部集群中的各种资源问题状态，我们采用手动脚本单台机器日志并聚类的方式来拿到结果；这种方式耗时长 (两周一次)、只能分析问题大类、没法观察问题走势和分布等 混部后单机压力与复杂度指数级上升，需要高频全视角的分析问题，这种方式不再适用。需要一套能分钟级展示、多视角、自动聚类分析的手段，包括时间对比、子系统分布、问题大类、问题子类、业务角度等。
86910编辑于 2023-10-02 - 来自专栏云计算技术笔记
谷歌Borg论文阅读笔记（二）—— 任务混部和资源隔离
相关笔记：谷歌Borg论文阅读笔记（一）—— 集群操作系统 Google的混部情况 Google几乎所有的机器都是混部的，在一台机器上，可能运行着不同jobs的tasks。 这里主要讲的是Google对任务混部对CPU性能影响的研究。 Google为了评估不同任务部署到同一个机器的CPU干扰影响做了一个实验。 资源分类 混部的一大问题是某个资源不足的情形。但是，不同的资源有不同的特点，有的资源能快速调整，而有的则需要很大的代价来调整。 在内存不足的时候，Linux会进行内存回收，释放PageCache，将部匿名页调入Swap。 如果还是没有足够的内存，会进入OOM-KILL流程。这个代价是很大的。 总结 应用混部，尽可能使用多线程。 使用轻量级的隔离机制，而不是VM。 合理的对资源超分配，以此提高资源利用率。很多任务并不是任何时刻都会用到很多资源。 对任务和资源进行分级。
1.2K30编辑于 2022-09-07 - 来自专栏python3
CentOS 7部署OpenStack（
---+ | enabled | True | | id |e8c6bfd66506449094a2aab994e7a4be root@controller ~]# glance p_w_picpath-list +----+------+ | ID | Name | +----+------+ +----+------+ 7、 | | name | cirros | | owner |69d1967e59d247e6b7c4c3937d5baa89
1.2K10发布于 2020-01-09 - 来自专栏开源部署
CentOS 7部署DHCP服务
CentOS 7 DHCP服务器部署 背景： 某单位需要配置一台DHCP服务器给桌面PC机分配IP地址。 VLAN2的地址租约是8天 zzyh1上的DHCP配置 查看版本信息 [root@localhost~]# uname -a Linuxlocalhost.localdomain 3.10.0-123.el7. relatime) #cd /media/Packages //进入目录 [root@zzyh1Packages]# ls dhcp* dhcp-4.2.5-27.el7. centos.x86_64.rpm dhcp-common-4.2.5-27.el7.centos.x86_64.rpm dhcp-libs-4.2.5-27.el7.centos.x86_64.rpm 安装支持包 [root@zzyh1Packages]# rpm -vihdhcp-4.2.5-27.el7.centos.x86_64.rpm warning:dhcp-4.2.5-27.el7.centos.x86
1K20编辑于 2022-07-03 - 来自专栏运维经验分享
centos7部署Jenkin
centos7部署Jenkins 2018.08.08 14:42:26字数 381阅读 1022 声明：本文仅为测试插件，无脚本附件，可用作参考 1.配置安装Jenkins 去jenkins官网https （7）获取本地管理员密码 cat /var/lib/jenkins/secrets/initialAdminPassword 选择安装推荐的插件 ---- 2.构建项目 新建任务-构建一个自由风格的软件项目
73810发布于 2019-09-23 - 来自专栏各类技术文章~
centos7部署OpenVpn
二、环境规划 openvpn 服务端 centos7 IP 192.168.31.168 双网卡 三、安装部署 1.配置yum源（安装epel） 参考地址：fedoraproject.org/wiki /EPEL yum install https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm yum update yum
11.3K42发布于 2021-11-03 - 来自专栏若尘的技术专栏
CentOS7部署WordPress
前提： 1.完成Linux CentOS 7最小化安装后基本配置和下载必备插件。
1.4K75编辑于 2021-12-01 yolov7部署ROS
Yolov7是一种基于PyTorch深度学习框架的目标检测算法，具有高精度和快速的特点，被广泛应用于机器人领域。将Yolov7部署到ROS中可以方便地实现机器人对环境的感知和理解。 总之，将Yolov7部署到ROS中需要一定的技术和经验，但通过仔细的配置和优化，可以实现高效、准确和快速的目标检测功能，为机器人的智能化提供有力支持。 yolov7部署ROS测试环境： 虚拟机ubuntu18.04 python3.6.9 关于yolov7部署ROS参考视频介绍： yolov7部署在ros机器人操作系统视频演示_哔哩哔哩_bilibili 这个是使用官方yolov7部署到ROS系统上，演示采用虚拟机ubunut18.04笔记本摄像头测试。 目标检测，yolov5-7.0部署在ros机器人操作系统视频演示，基于yolov8+bytetrack实现目标追踪视频演示，基于yolov8+deepsort实现目标追踪视频演示，使用C++部署yolov8
33200编辑于 2025-07-17- 来自专栏公众号：Lucifer三思而后行
centos7部署OpenVpn
二、环境规划 openvpn 服务端 centos7 IP 192.168.31.168 双网卡 三、安装部署 1.配置yum源（安装epel） 参考地址：https://fedoraproject.org /wiki/EPEL yum install https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm yum update
10.3K52发布于 2021-08-17 - 来自专栏院长运维开发
CentOS7部署Grafana
前往https://github.com/grafana/grafana/tree/v6.7.x 下载源码
1.4K20发布于 2020-08-19 - 来自专栏腾讯云原生团队
混部之殇-论云原生资源隔离技术之CPU隔离(一)
导语 混部，通常指在离线混部(也有离在线混部之说)，意指通过将在线业务(通常为延迟敏感型高优先级任务)和离线任务(通常为 CPU 消耗型低优先级任务)同时混合部署在同一个节点上，以期提升节点的资源利用率 混部(混合部署)因此应运而生。这里的“混”，本质上就是“区分优先级”。狭义上，可以简单的理解为“在线+离线”(在离线)混部，广义上，可以扩展到更广的应用范围：多优先级业务混合部署。 相关技术起源甚早，颇有渊源，大名鼎鼎的 K8s(前身 Borg)其实源于 Google 的混部场景，而从混部的历史和效果看，Google 算是行业内的标杆，号称 CPU 占用率(均值)能做到60%，具体可参考其经典论文 超线程干扰问题是混部场景中的关键问题，而 CFS 在最初设计时是(几乎)完全没有考虑过的，不能说是设计缺失，只能说是 CFS 并不是为混部场景而设计的，而是为更通用的、更宏观的场景而生。 不太适合(云原生)混部场景。 本质还是：Core scheduling 亦非为云原生混部场景而设计。 结论 综合前面的分析，可以抽象的总结下当前现有的各种方案的优点和问题。
4K94发布于 2021-05-10 - 来自专栏腾讯开源的专栏
助力成本优化，腾讯全场景在离线混部系统Caelus正式开源
11月4日，在2021腾讯数字生态大会上，腾讯正式宣布开源其全场景在离线混部系统Caelus。 对此，业内一直在进行诸多探索，在线离线混部被认为是解决该问题的终极方案。 .大部分混部系统只针对云原生场景，无法利用大量非容器化的在线空闲资源； 2. 混部调度器缺乏在离线应用调度的兼容性、高性能以及SLA保证。 解决这些问题，也是Caelus混部研发的初衷。 充分兼容的架构设计 Caelus为了适应各种的混部场景，遵循了几个关键原则，主要包括： 1. 不改变业务使用方式，便于业务迁移到Caelus混部平台。
84341发布于 2021-11-18 - 来自专栏腾讯大数据的专栏
助力成本优化，腾讯全场景在离线混部系统Caelus正式开源
对此，业内一直在进行诸多探索，在线离线混部被认为是解决该问题的终极方案。 由于很多大数据任务具有实时性要求不高、运行时间较短、使用碎片资源等特点，而在线应用的资源使用通常具有潮汐的特点，因此大数据任务比较适合复用在线应用的空闲资源，但混部也面临诸多核心技术难题，具体包括： 大部分混部系统只针对云原生场景 ，限制了可以混部的场景； 在内核层、容器层缺乏完善的资源隔离、热迁移等机制，导致容易发生干扰，且处理干扰代价高； 混部调度器缺乏在离线应用调度的兼容性、高性能以及SLA保证。 解决这些问题，也是Caelus混部研发的初衷。 充分兼容的架构设计 Caelus Caelus为了适应各种的混部场景，遵循了几个关键原则，主要包括： 不改变业务使用方式，便于业务迁移到Caelus混部平台。
1.6K40发布于 2021-11-10 - 来自专栏腾讯云原生团队
TKE 算力集群：新一代跨集群混部资源引擎
针对上述难题，业界公认的解决方式是 “在离线混部”技术（如 Koordinator，Caelus，Katalyst，Crane）。 但混部并非“银弹”，当企业将混部能力从单个集群扩展到全局多个集群时，资源仍然被物理集群边界锁死。 2 新一代资源管理范式，算力集群 算力集群是 TKE 面向跨集群资源混部场景推出的首个全栈式产品化解决方案，旨在充分挖掘集群中的闲置算力，让资源成本迈向全局最优。 方案默认集成了多集群资源管理、Crane 扩展调度 、混部隔离保障的 RUE 内核以及超大规模集群管控功能，全面降低用户在跨集群管理、资源调度和在离线混部上的维护复杂度。 全局视图统一管理混部资源：通过穿透集群边界将分散在各个集群的闲置CPU、GPU节点资源抽象为虚拟节点（vNode），在上层形成全局算力池统筹管理闲置资源。
1.3K20编辑于 2025-10-31 - 来自专栏腾讯云原生团队
qGPU 容器产品全量上线，重磅发布 GPU 在离线混部功能
徐蓓，腾讯云容器技术专家，腾讯云异构计算容器负责人，多年云计算一线架构设计与研发经验，长期深耕 Kubernetes、在离线混部与 GPU 容器化领域，Kubernetes KEP Memory QoS 除此之外，腾讯云 qGPU 创新性的将在离线混合部署技术与 GPU 相结合，在业界首次实现了 GPU 在离线混部的方案，将 GPU 容器共享技术推进到了下一个纪元。 在线业务通常指推理业务，离线业务可能是推理、也可能是训练，于是在离线混部主要形式有 推理 + 推理、推理 + 训练。 在具备 qGPU 在离线混部能力之后，用户可以安全地将在线业务与其他业务部署在同一张 GPU 卡，在共享复用资源的同时，可以完全保障在线业务健康、稳定运行。 可以说，腾讯云 qGPU 在离线混部是提升 GPU 利用率的创新性的突破技术。
1.7K30编辑于 2022-03-10 - 来自专栏运维前线
CentOS7部署NFS服务
通过使用NFS，用户和程序可以像访问本地文件一样访问远端系统上的文件 运行模式： C/S 模式 端口：CentOS7以NFSv4作为默认版本，NFSv4使用TCP协议（端口号是2049）和NFS服务器建立连接 99M 1% /run/user/0 /dev/sr0 iso9660 4.1G 4.1G 0 100% /run/media/root/CentOS 7
2.2K60发布于 2019-05-26 - 来自专栏IT技术精选文摘
Centos7部署Kubernetes集群
yum安装的etcd默认配置文件在/etc/etcd/etcd.conf。编辑配置文件，更改以下带颜色部分信息：
88720发布于 2019-05-24 - 来自专栏阿dai_linux
Centos7部署RabbitMQ 3.7.6
x86_64 在后面安装Rabbitmq时会报错： 错误：软件包：rabbitmq-server-3.7.6-1.el7.noarch (/rabbitmq-server-3.7.6-1.el7.noarch ) 需要：erlang >= 19.3 已安装: erlang-R16B-03.18.el7.x86_64 (@epel) erlang version of the package $ yum install -y rabbitmq-server-3.7.6-1.el7.noarch.rpm # Done! $ rpm -q rabbitmq-server rabbitmq-server-3.7.6-1.el7.noarch 如果报错请返回 “erlang 安装” 。 管理服务 centos7可以直接使用系统工具管理服务 $ systemctl start/status/restart/stop rabbitmq-server # 查看rabbimq启动的端口
1.8K40发布于 2019-04-03
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号