- 综合排序
- 最热优先
- 最新优先
- 来自专栏深度学习与python
4 个月节省千万成本的机器学习混部实践
因此，贝联珠贯在大数据领域针对万台规模的集群展开了研究，并成功落地了一种基于增强型 RunC 的新方案，在第一阶段的 4 个月里，成功地帮助客户提升了资源利用率，年度降本超过千万人民币，同时业务使用体验并未受到影响 在今年 9 月份的 QCon 全球软件开发大会（北京站），贝联珠贯 (www.lccomputing.com) 合伙人王元良老师以《增强型 RunC 的最佳实践：克服离线高压力混部场景的关键挑战》为题， 二级告警，LCC-Agent 通知 NM NM 会调整心跳时间 NM 会根据任务的优先级，优先 KILL 低优先级任务 三级告警，LCC-Agent 直接 kill 非白名单进程 机器夯死问题得到解决，混部解决掉最关键的资源卡点问题 集群维度感知，先于业务发现问题 前期为了了解客户混部集群中的各种资源问题状态，我们采用手动脚本单台机器日志并聚类的方式来拿到结果；这种方式耗时长 (两周一次)、只能分析问题大类、没法观察问题走势和分布等 混部后单机压力与复杂度指数级上升，需要高频全视角的分析问题，这种方式不再适用。需要一套能分钟级展示、多视角、自动聚类分析的手段，包括时间对比、子系统分布、问题大类、问题子类、业务角度等。
90110编辑于 2023-10-02 - 来自专栏深度学习与python
一文看懂业界在离线混部技术
(注：离在线混部计划另文阐述) 图 1 混部示意图 在离线混部的成本价值 为了更形象的了解在离线混部的成本价值，我们来看一个中小型企业，4 核 8G 的机器一共有 1000 台，主要计算资源就是 以下是美团某部门精细化成本运营后的分解图： 图 2 成本指标分解图 业界在离线混部方案解析 方案拆分 通过对目前业界在离线方案方案的分析，我们可以抽象出在离线混部方案的三个划分维度： 从在离线混部的隔离类型上 如果服务是混部于同一台物理机上，属于共享内核；如分属于不同物理机，则属于独占内核。 从在离线混部的部署底座上，可以分为物理机部署和容器部署。 从在离线混部的调度决策上，可以分为静态决策和动态决策。 比较典型的是字节跳动的方案，架构图如下所示: 图 4 字节跳动在离线混部架构图 字节跳动依托于 K8s 与业务 quota 做整机腾挪的在离线混部，以集群转让节点的方式提高整体资源利用率，主要实现思路为 比较典型的是百度、腾讯、快手的方案，这里以腾讯方案为例： 图 4 腾讯 Caelus 系统架构图 腾讯在离线混部系统 Caelus 以 K8s 为依托，在 K8s 节点以容器的方式部署离线任务，实现在线服务节点转让资源给离线作业
2K31编辑于 2022-03-22 - 来自专栏腾讯大数据的专栏
Caelus—全场景在离线混部解决方案
本篇文章结合腾讯技术团队在混部方面的落地和实战经验，来介绍各类场景下在线离线混部的相关概念、面临的问题及混部技术方案，抛砖引玉，供大家交流。 图2 混部的场景 业内研究 在线离线混部对于提高集群利用率是非常有意义的，无论是在学术界，还是各大厂商实际落地，都对混部做了深入的研究。 ；3）对应用有依赖性，比如需要依赖应用是无状态的，可以被自动迁移等；4）不能很好保证应用服务质量，做不到安全混部；5）混部的场景有限。 图4 节点Agent模块 混部agent采集各种数据指标，包括在线资源、机器资源等。 4、批量调度器 引入混部的离线作业之后，尤其是在大规模的场景下，原有k8s的调度器性能瓶颈问题变得越发严重，并且原调度器缺乏一些专门针对离线的调度特性如gang scheduling等，为此，我们设计了自研的离线批量调度器
10.1K71发布于 2020-12-14 - 来自专栏云计算技术笔记
谷歌Borg论文阅读笔记（二）—— 任务混部和资源隔离
相关笔记：谷歌Borg论文阅读笔记（一）—— 集群操作系统 Google的混部情况 Google几乎所有的机器都是混部的，在一台机器上，可能运行着不同jobs的tasks。 这里主要讲的是Google对任务混部对CPU性能影响的研究。 Google为了评估不同任务部署到同一个机器的CPU干扰影响做了一个实验。 资源分类 混部的一大问题是某个资源不足的情形。但是，不同的资源有不同的特点，有的资源能快速调整，而有的则需要很大的代价来调整。 在内存不足的时候，Linux会进行内存回收，释放PageCache，将部匿名页调入Swap。 如果还是没有足够的内存，会进入OOM-KILL流程。这个代价是很大的。 总结 应用混部，尽可能使用多线程。 使用轻量级的隔离机制，而不是VM。 合理的对资源超分配，以此提高资源利用率。很多任务并不是任何时刻都会用到很多资源。 对任务和资源进行分级。
1.2K30编辑于 2022-09-07 - 来自专栏腾讯云原生团队
混部之殇-论云原生资源隔离技术之CPU隔离(一)
导语 混部，通常指在离线混部(也有离在线混部之说)，意指通过将在线业务(通常为延迟敏感型高优先级任务)和离线任务(通常为 CPU 消耗型低优先级任务)同时混合部署在同一个节点上，以期提升节点的资源利用率 混部(混合部署)因此应运而生。这里的“混”，本质上就是“区分优先级”。狭义上，可以简单的理解为“在线+离线”(在离线)混部，广义上，可以扩展到更广的应用范围：多优先级业务混合部署。 技术挑战 如前面所说，混部场景中，底层资源隔离技术至关重要，其中的“资源”，整体上分为4个大类： CPU Memory IO 网络 本文聚焦于 CPU 隔离技术，主要分析在 CPU 隔离层面的技术难点、 超线程干扰问题是混部场景中的关键问题，而 CFS 在最初设计时是(几乎)完全没有考虑过的，不能说是设计缺失，只能说是 CFS 并不是为混部场景而设计的，而是为更通用的、更宏观的场景而生。 不太适合(云原生)混部场景。 本质还是：Core scheduling 亦非为云原生混部场景而设计。 结论 综合前面的分析，可以抽象的总结下当前现有的各种方案的优点和问题。
4.1K94发布于 2021-05-10 - 来自专栏腾讯大数据的专栏
助力成本优化，腾讯全场景在离线混部系统Caelus正式开源
导读 / Introduction 11月4日，在2021腾讯数字生态大会上，腾讯正式宣布开源全场景在离线混部系统Caelus。 对此，业内一直在进行诸多探索，在线离线混部被认为是解决该问题的终极方案。 ，限制了可以混部的场景； 在内核层、容器层缺乏完善的资源隔离、热迁移等机制，导致容易发生干扰，且处理干扰代价高； 混部调度器缺乏在离线应用调度的兼容性、高性能以及SLA保证。 解决这些问题，也是Caelus混部研发的初衷。 充分兼容的架构设计 Caelus Caelus为了适应各种的混部场景，遵循了几个关键原则，主要包括： 不改变业务使用方式，便于业务迁移到Caelus混部平台。
1.6K40发布于 2021-11-10 - 来自专栏腾讯开源的专栏
助力成本优化，腾讯全场景在离线混部系统Caelus正式开源
11月4日，在2021腾讯数字生态大会上，腾讯正式宣布开源其全场景在离线混部系统Caelus。 对此，业内一直在进行诸多探索，在线离线混部被认为是解决该问题的终极方案。 部分混部方案要求大数据必须云原生化改造，增加了依赖条件； 3. 资源复用在粒度、灵活性、时间等方面策略都不够精细，导致利用率不高； 4. 混部调度器缺乏在离线应用调度的兼容性、高性能以及SLA保证。 解决这些问题，也是Caelus混部研发的初衷。 充分兼容的架构设计 Caelus为了适应各种的混部场景，遵循了几个关键原则，主要包括： 1. 不改变业务使用方式，便于业务迁移到Caelus混部平台。
87441发布于 2021-11-18 - 来自专栏腾讯云原生团队
qGPU 容器产品全量上线，重磅发布 GPU 在离线混部功能
徐蓓，腾讯云容器技术专家，腾讯云异构计算容器负责人，多年云计算一线架构设计与研发经验，长期深耕 Kubernetes、在离线混部与 GPU 容器化领域，Kubernetes KEP Memory QoS 除此之外，腾讯云 qGPU 创新性的将在离线混合部署技术与 GPU 相结合，在业界首次实现了 GPU 在离线混部的方案，将 GPU 容器共享技术推进到了下一个纪元。 在线业务通常指推理业务，离线业务可能是推理、也可能是训练，于是在离线混部主要形式有 推理 + 推理、推理 + 训练。 在具备 qGPU 在离线混部能力之后，用户可以安全地将在线业务与其他业务部署在同一张 GPU 卡，在共享复用资源的同时，可以完全保障在线业务健康、稳定运行。 可以说，腾讯云 qGPU 在离线混部是提升 GPU 利用率的创新性的突破技术。
1.7K30编辑于 2022-03-10 - 来自专栏腾讯云原生团队
TKE 算力集群：新一代跨集群混部资源引擎
针对上述难题，业界公认的解决方式是 “在离线混部”技术（如 Koordinator，Caelus，Katalyst，Crane）。 但混部并非“银弹”，当企业将混部能力从单个集群扩展到全局多个集群时，资源仍然被物理集群边界锁死。 方案默认集成了多集群资源管理、Crane 扩展调度 、混部隔离保障的 RUE 内核以及超大规模集群管控功能，全面降低用户在跨集群管理、资源调度和在离线混部上的维护复杂度。 4 产品优势和适用场景 算力集群就像一位资源管家：帮你盘点所有集群的闲置资源，给离线任务分配 “临时工位”，在线业务忙时就请离线任务“暂让”，还可以请“算力外援”来保障离线任务运行质量。 全局视图统一管理混部资源：通过穿透集群边界将分散在各个集群的闲置CPU、GPU节点资源抽象为虚拟节点（vNode），在上层形成全局算力池统筹管理闲置资源。
1.4K20编辑于 2025-10-31 - 来自专栏云原生
腾讯云Serverless容器混部实战（如何提升集群利用率至65%）
本文将深入剖析腾讯云团队如何借助Serverless容器技术与深度混部策略，在保障核心业务SLA的前提下，将生产集群利用率稳定提升至65%以上，并分享实战中沉淀的关键技术与踩坑经验。 四、稳定性守卫：多维熔断与逃生机制混部的最大风险在于资源争抢导致在线业务抖动。 五、效果验证：从理论到生产的数据飞跃在日均百亿请求的电商核心集群落地混部方案：指标 混部前 混部后 提升幅度集群CPU利用率 22% 68% 、OOM Kill次数系统层： 节点（逻辑）资源争抢率、调度器Pending时长混部不是单纯的技术叠加，而是资源效率、稳定性、成本三角的艺术平衡。 混部方案需结合业务特性深度调优，不可直接复制参数。
78410编辑于 2025-07-08 - 来自专栏腾讯云原生团队
【云原生下离在线混部实践系列】深入浅出 Google Borg
作者徐蓓，腾讯云专家工程师，长期从事云计算 IaaS、PaaS 架构和研发工作，现负责腾讯云 TKE 资源调度、离在线混部、大数据云原生化等领域。 Google Borg 是资源调度管理和离在线混部领域的鼻祖，同时也是 Kubernetes 的起源与参照，已成为从业人员首要学习的典范。 Isolation 由于 Google Borg 天生就考虑混部场景，所以资源隔离对其尤为重要。 Google Borg 作为 Google 内部的经验结晶，系统的阐述了混部应有的基本形态，很有启发意义。 后续会持续分享混部相关的理论和实战经验。
2.3K21发布于 2020-05-26 - 来自专栏腾讯云原生团队
年终大禧 | 腾讯云 Crane 国内首批通过云原生混部技术评估
2023 年 1 月 9 日云原生产业联盟（CNIA）举办 2022 年度线上年会，中国信通院云大所云计算发布了云原生系列测评成果，腾讯云主导开源的云原生成本优化项目 Crane 首批通过“云原生混部” 腾讯云自 2015 年起在混部领域进行探索，在支撑海量自研业务上云的过程中广泛使用。目前管理规模已达数千万核，混部能力使服务器资源利用率从30% 提升至 65%。 云原生混部解决方案依托容器、微服务、平台编排调度等云原生技术，帮助用户将业务负载与大数据分析、人工智能计算等不同优先级的应用混合部署到共享的基础设施上，提高资源利用率，实现“降本增效”。 在此背景下，中国信通院牵头，联合腾讯云等多家云服务商，经过多轮研讨，形成了《云原生混部技术能力要求》标准。 标准涉及基础设施能力要求、平台混部能力要求、业务应用能力要求，以及混部效果评价四个部分，从资源隔离、资源复用、干扰检测、负载反馈、任务调度、资源预测、应用服务质量等不同维度，对混部产品及解决方案进行全面评估
1.9K30编辑于 2023-01-30 - 来自专栏【腾讯云开发者】
腾讯混元大模型·4月产品动态
作为腾讯全链路自研的大模型，自2023年9月公开亮相以来，腾讯混元大模型共经历了数十次迭代，支持内部超过400个业务和场景接入，并通过腾讯云面向企业和个人开发者全面开放（API个人权益与企业客户一致，已实名腾讯云账号提供累计
69840编辑于 2024-04-28 - 来自专栏白菜博客
树莓派4部署LNMP服务
（选择第一项：“A1 Expand Filesystem”，看名字大家就明白了） 4.继续回车，表示确定. 5.点选“Finish”完成，等待重启即可， 6.6.查看确认df -h 安装LNMP SSH
1.6K20编辑于 2022-03-17 - 来自专栏伪架构师
Volcano：在离线作业混部管理平台，实现智能资源管理和作业调度
本文结合华为云云原生团队在混合部署方面的研究和实战，介绍了混合部署的背景、概念、混部技术的设计方案和实际落地情况，以及对未来的计划和展望。 基于Volcano混合部署解决方案如下图所示： 图 3 基于Volcano混合部署架构 02 Volcano混部调度能力 目前Kubernetes的默认调度器是以Pod为单位进行调度的，不区分Pod中运行的业务类型 因此无法满足混部场景对资源分配的特殊要求。 资源超卖及在离线作业混部必然会导致不同作业之间的相互干扰，因此除了通过cgroup进行资源隔离之外，kubelet同时会实时采集节点上物理资源使用率，根据不同的情况驱逐离线作业，提前释放相应资源，防止对在线作业的 中国数据中心行业研究报告2020年: https://pdf.dfcfw.com/pdf/H3_AP202012161440695500_1.pdf [5] 王康瑾,贾统,李影.在离线混部作业调度与资源管理技术研究综述
2.3K20编辑于 2022-04-15 - 来自专栏PPV课数据科学社区
通过4部美剧教你看懂大数据
“IBM大数据平台”定义了大数据的四个维度，也称为“大数据4V”，即Volume（海量），Velocity（高速）, Variety（多样）, Veracity（真实）。 剧中主人公Gabriel Vaughn 是前美国三角洲特种部队队员，因为他具有一种被称为Athens-4U7R的独特基因变异，可以对计算机芯片不产生排异反应，“美国网络战指挥部”招募了他，并在他的脑中植入了一枚堪比超级计算机的芯片
2.6K90发布于 2018-04-20 - 来自专栏十二惊惶的网络安全研究记录
IPv4部分协议信息汇总
bit，指IP协议的版本，目前的IP协议版本号为4(即IPv4) 首部长度:4 bit，以4字节为单位，因此IP的首部长度最大是60字节 服务类型: 8 bit，区分服务，一般不用。 UDP校拉和T拉H围包括三部分:伪首部、UDP首部以及从应用层来的数据。 伪首部是IP首部的一部分，其中有些字段要填入0。若校演和不包括伪首部，用户数据报也可能是安全的和正确的。 此外，若有一部分数据丢失、重复、失序或损坏，发送端就要一直等到接收端将全部数据都检查完毕后才能知道。 差错控制： TCP的差错控制 应用程序把数据流交付给TCP后，就依靠TCP把整个数据流交付给接收端的应用程序，并且保证数据流是按序的、没有差错的、也没有任何一部分是丢失的或重复的。 通过多线程或多进程可使服务器的效率更加提高，服务器在同一时间可回答多个请求 统一资源定位符（URL) Uniform Resource Locator，用于表示Internet上资源的位置和访问方法 URL由4部分组成
1K10编辑于 2024-02-28 - 来自专栏MySQL解决方案工程师
InnoDB数据锁–第4部分“调度”
我们在InnoDB数据锁——第2部分“锁”中看到，检查两个锁请求之间冲突的规则可能相当复杂，但最终我们应该能够决定是否立即授予我们的新请求，还是必须等待。 “等待图”的概念在InnoDB数据锁-第3部分“死锁”中有描述，简单来说，你可以把等待的事务想象成有箭头指向它们等待资源的事务。 如InnoDB数据锁–第3部分“死锁”中所述，在InnoDB中，可以对事务之间的等待关系的精简版本进行快照。它是在后台线程中完成的，不需要停止整个系统。 这只是一个先决条件，使我们能够最终解决更大的问题– 锁系统的可伸缩性，这是下一部分InnoDB 数据锁 –第5部分“并发队列”的主题。
78820发布于 2021-04-30 - 来自专栏应用计算
查询 MongoDB--SPL 轻量级多源混算实践 4
A4：使用 top 函数取前 3 大客户我们再做个过滤，查询 2025-02-01 之前的订单。
33600编辑于 2025-08-07 - 来自专栏U3D技术分享
《CLR via C#》笔记：第4部分 核心机制(4)
本博客所总结书籍为《CLR via C#（第4版）》清华大学出版社，2021年11月第11次印刷（如果是旧版书籍或者pdf可能会出现书页对不上的情况） 你可以理解为本博客为该书的精简子集，给正在学习中的人提供一个 4、格式化器然后遍历两个数组中的元素，将每个成员的名称和值写入流中。 4、格式化器根据流中包含的数据创建并初始化一个Object数组 5、将新分配对象、MemberInfo 数组以及并行Object 数组(其中包含字段值)的引用传给FormatterServices 的静态方法 （P559-P561） 序列化代理 格式化器还允许不是“类型实现的一部分”的代码重写该类型“序列化和反序列化其对象”的方式。
65720编辑于 2022-09-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号