首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏悠扬前奏的博客

    LVS-4.负载调度

    负载调度器上的负载调度策略和算法,解决如何将请求流调度到各台服务器,使得各台服务器尽可能地保持负载均衡。 以下主要由两个部分组 成。 2.1 内核中的连接调度算法 IPVS在内核中的负载均衡调度是以连接为粒度的。 内核中的连接调度算法,IPVS实现了8种: 轮叫调度(Round-Robin Scheduling) 加权轮叫调度(Weighted Round-Robin Scheduling) 最小连接调度(Least-Connection 加权轮询调度无需记录当前所有连接的状态,是一种无状态调度。 2.3 最小连接调度 最小连接调度(Least-Connection Scheduling),把新的连接请求分配到当前链接数量最小的服务器。 加权最小连接调度调度新连接时尽可能使服务器的已建立连接数和其权值成正比。

    60230发布于 2019-05-30
  • 来自专栏后端精进之路

    Spark系列 - (4) Spark任务调度

    4. Spark任务调度 4.1 核心组件 本节主要介绍Spark运行过程中的核心以及相关组件。 申请容器资源 AM通知 Node Manager 启动容器 应用程序代码在容器中执行 客户端联系RM/AM以监控应用程序的状态 Job完成后,AM向RM取消注册 4.3 Spark程序运行流程 在实际生产环境下 Spark任务的调度总体上分两路进行,一路是Stage级的调度,一路是Task级的调度,总体的调度流程如下: Spark RDD通过Transformation操作,形成了RDD血缘关系图,即DAG, TaskScheduler就是以TaskSetManager为调度单元去执行Tasks的; 将封装好的TaskSetManager加入到等待的调度队列等待调度,又schedueBuilder决定调度的顺序 调度策略 TaskScheduler支持两种调度策略,一种是FIFO,也是默认的调度策略,另一种是FAIR。

    1.3K10编辑于 2023-10-19
  • Yarn调度器及生产环境如何使用多队列

    (1)hadoop调度器分为三类: FIFO、Capacity Scheduler(容量调度器)和Fair Sceduler(公平调度器) Apache默认的资源调度器是容量调度器; CDH默认的资源调度器是公平调度器 ; (2)区别 FIFO调度器:支持单队列,先进先出,生产环境不会用; 容量调度器:支持多队列,保证先进入的任务有限执行; 公平调度器:支持多队列,保证每个任务公平享有队列资源,资源不够时可以按照缺额分配 (3)在生产环境下如何选择? 大厂:如果对并发度要求比较高,选择公平,要求服务器性能必须OK; 中小公司,集群服务器资源不太充裕选择容量。 (4)在生产环境怎么创建队列? 调度器默认就1个default队列,不能满足生产要求; 按照框架:hive/spark/flink每个框架的任务方队指定的队列(企业用的不是特别多) 按照业务模块:登录注册、购物车、下单、业务部门1

    11610编辑于 2025-12-23
  • 来自专栏云技术与

    Kubernetes GPU 调度完全指南:从入门到生产实践

    在 AI 大模型训练、推理场景爆发式增长的今天,如何在 Kubernetes 集群中高效调度 GPU 资源,已成为云原生领域的关键技术。本文系统梳理 K8s GPU 调度的核心方案与最佳实践。 # 1卡拆分为4个vGPU ▎拓扑感知调度 多卡训练任务需关注 NUMA 拓扑: spec: affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution ━━━━━━━━━━━ 四、方案选型对比 【原生 Device Plugin】 适用:小规模 GPU 集群 特点:轻量、简单,无共享能力 【NVIDIA GPU Operator】 适用:企业级生产环境 、生产环境最佳实践 1. 关键监控指标 • GPU 利用率(非零即满问题) • 显存占用率 • GPU 温度与功耗 • NVLink 带宽利用率 4.

    40110编辑于 2026-03-31
  • 数字化生产调度工具:提升生产效率与车间任务协作的关键技术

    随着全球制造业的不断升级和市场竞争的激烈,生产调度在现代制造业中扮演着越来越重要的角色。传统的生产调度方式已经无法满足日益复杂的生产需求,数字化生产调度工具应运而生。 解决方案: 数字化生产调度工具提供实时反馈和调整功能,能够实时监控生产进度、设备状态和任务执行情况,一旦发现问题,系统能够自动调整任务或资源分配,确保生产计划按时完成。4. 技术原理: 基于大数据分析,系统能够预测生产中的瓶颈环节,自动调整任务顺序或资源分配,确保生产过程流畅。4. 任务协作与进度追踪任务协作和进度追踪是数字化生产调度平台的重要组成部分。 三、常见数字化生产调度工具与应用场景1. 板栗看板适配场景: 任务协作、资源调度生产管理板栗看板是一款广泛应用于生产调度与任务管理的工具。它通过可视化看板帮助团队管理任务流、调度资源并追踪生产进度。 FactoryMaster适配场景: 生产调度、车间任务管理、生产线监控FactoryMaster专注于车间生产调度与监控,集成了任务管理、生产线监控、实时调度功能。

    39510编辑于 2025-08-05
  • 来自专栏一个会写诗的程序员的博客

    Linux 内核的 4 大 IO 调度算法

    Linux 内核包含4个IO调度器,分别是 Noop IO scheduler、Anticipatory IO scheduler、Deadline IO scheduler 与 CFQ IO scheduler I/O调度程序负责维护这些队列的顺序,以更有效地利用介质.I/O调度程序将无序的I/O操作变为有序的I/O操作. 内核必须首先确定队列中一共有多少个请求,然后才开始进行调度. ? 然而IO吞吐量和IO响应时间往往是矛盾的,为了尽量平衡这两者,IO调度器提供了多种调度算法来适应不同的IO请求场景。其中,对数据库这种随机读写的场景最有利的算法是DEANLINE。 4、ANTICIPATORY CFQ和DEADLINE考虑的焦点在于满足零散IO请求上。对于连续的IO请求,比如顺序读,并没有做优化。 We see that the in the mixed read/write workloads (2 and 4) the NOOP scheduler has a negative impact

    6.3K31发布于 2020-04-16
  • 来自专栏刷题笔记

    1-4 列车厢调度 (25 分)

    本文链接:https://blog.csdn.net/shiliang97/article/details/100169220 1-4 列车厢调度 (25 分) 1 ====== 今天,我们就来实际操作一下列车厢的调度。对照上方的ASCII字符图,问题描述如下: 有三条平行的列车轨道(1、2、3)以及1-3和2-3两段连接轨道。 对于给定的1号停车顺序,如果经过调度能够实现2号轨道要求的顺序,则给出操作序列;如果不能,就反问用户 Are(你) you(是) kidding(凯丁) me(么)? 输出格式: 如果能够成功调度,给出最短的操作序列,每个操作占一行。所谓“最短”,即如果1->2可以完成的调度,就不要通过1->3和3->2来实现。 如果不能调度,输出 "Are you kidding me?"

    90020发布于 2019-11-08
  • 来自专栏MySQL解决方案工程师

    InnoDB数据锁–第4部分“调度

    差异感知事务调度 在论文 “Identifying the Major Sources of Variance in TransactionLatencies: Towards More Predictable 竞争感知锁调度 Boyu Tian, Jiamin Huang, Barzan Mozafari和Grant Schoenebeck在他们的下一篇论文“Contention-Aware Lock Scheduling for TransactionalDatabases” 《用于事务性数据库的竞争感知锁调度》中提出了一种使用不同标准对等待者进行排序的想法。 这是与MySQL 8.0.3一起发布的算法,其首字母缩写为CATS(竞争意识事务调度)。 要把论文中的想法直接正确地贯彻执行,存在一些困难。 但从性能的角度来看,这是不允许的:每当一条边出现或消失时,以拓扑顺序处理整个等待图表,以使调度“更加公平”而使整个世界停止,这将是一个不好的权衡。

    67720发布于 2021-04-30
  • 来自专栏不温卜火

    Yarn快速系列入门(4) | Yarn调度

    yarn我们都知道主要是用于做资源调度,任务分配等功能的,那么在hadoop当中,究竟使用什么算法来进行任务调度就需要我们关注了,hadoop支持好几种任务的调度方式,不同的场景需要使用不同的任务调度器 其实调度本身就是一个难题,很难找到一个完美的策略可以解决所有的应用场景。为此,Yarn提供了多种调度器和可配置的策略供我们选择。    1.2 capacity scheduler(容量调度器,apache版本默认使用的调度器)   Capacity 调度器允许多个组织共享整个集群,每个组织可以获得集群的一部分计算能力。 1.3 Fair Scheduler(公平调度器,CDH版本的hadoop默认使用的调度器)   Fair调度器的设计目标是为所有的应用分配公平的资源(对公平的定义可以通过参数来设置)。 4、 使用哪种调度器取决于yarn-site.xml当中的yarn.resourcemanager.scheduler.class 这个属性的配置 二. yarn常用参数设置 第一个参数:container

    1.9K10发布于 2020-10-28
  • 来自专栏一起学Golang

    Go调度器系列(4)源码阅读与探索

    建议阅读Go调度器系列文章,以及文章中的参考资料: Go调度器系列(1)起源 Go调度器系列(2)宏观看调度器 Go调度器系列(3)图解调度原理 优秀源码资料推荐 既然你已经能回答以上问题,说明你对Go 调度器的设计已经有了一定的掌握,关于Go调度器源码的优秀资料已经有很多,我这里推荐2个: 雨痕的Go源码剖析六章并发调度,不止是源码,是以源码为基础进行了详细的Go调度器介绍:ttps://github.com /all.bash 以后每次修改go源码后可以这样,4分钟左右可以编译完成 $ cd $GODIR/src $ time . golang/go Installed commands in /home/xxx/go/src/github.com/golang/go/bin real 1m11.675s user 4m4.464s run demo1.go schedule(): goid = 0 schedule(): goid = 0 SCHED 0ms: gomaxprocs=8 idleprocs=6 threads=4

    84340发布于 2019-04-23
  • 来自专栏肘子的Swift记事本

    Swift Playgrounds 4 娱乐还是生产

    Swift Playgrounds 4 娱乐还是生产力 访问我的博客 www.fatbobman.com[1] ,获得更好的阅读体验。 本文将对 Swift Playgrounds 4 的新功能做以介绍,并探讨将其作为开发工具的可行性。 本文中的 Swift Playgrounds 4 特指 iPad 版本。 Swift Playgrounds 是典型的寓教于乐型产品,最初的设计目标并不涉及专业开发所需的生产力方面需求。 Swift Playgrounds 4 的适用人群或场景 既然 Swift Playgrounds 4 已经提供了如此多针对专业开发需求的功能,是否可以将其作为严肃的生产力工具来对待呢? Swift Playgrounds 在保留了快乐教育的功能前提下,满足了部分场景下的生产力需求。 希望本文能够对你有所帮助。

    1.2K20编辑于 2022-07-28
  • 来自专栏SAP最佳业务实践

    SAP最佳业务实践:联产品的生产(235)-4联合生产

    4. 如果不希望为给定订单执行更多的收货过帐,则在选项页 订单数据 的字段 "交货已完成"标识. 中设置标识 2 设置。 5. 设置 项目确定 标识。 6. 对其他项目重复步骤 4 至 6。 7. 3、MD04检查联产品的剩余库存 在联合生产期间,可同时生产多个物料。通常,物料需求不会完全按比例与所有生产数量匹配。尽管需求会通过生产或采购自动触发补货建议,但不会自动检查剩余库存累计。 4. 选择 选定的库存/需求清单。 ? 副产品没收货之前,MMBE会看到交货计划 10个 ? 副产品收货之后 ? 5. 选择 显示概览树(Shift + F7)。 4、收货过帐后的生产确认按库存生产 - 离散行业 (145) 生产订单确认允许您记录操作的消耗和偏差。此外,订单状态还可控制成本,以便进一步执行订单结算。 完成该业务情景的业务流程文档 中描述的以下操作 按库存生产 - 离散行业(145): 生产的最终确认 使用生产订单编号访问订单确认,并确认缺省值(也可以更改时间)。

    2.9K110发布于 2018-03-27
  • 来自专栏SAP最佳业务实践

    SAP最佳业务实践:生产订单拆分-按库存生产(248)-4订单拆分

    image.png 订单拆分 选项 1:按相同物料拆分 使用此功能可以将一份现有生产订单拆分成多份订单,所有这些订单都用于生产相同的物料(但在开始日期和时间等方面存在差别)。 CO02执行订单拆分 角色车间主任 后勤 ®生产 ®车间现场控制 ®订单 ®更改 1. 在 生产订单更改: 初始屏幕上输入前面记录的生产订单编号,然后选择 回车。 2. 选择按钮 工序概览。 3. 在 生产订单更改: 工序总览 屏幕上选择工序 0020,然后选择(NWBC: 更多…®)功能 ®分解订单。 ? 在 订单分解 屏幕上选择拆分方法“相同物料的分解”。 4. 选择按钮 订单表头返回。在订单表头屏幕的左侧显示含拆分关系的树控制。在该树控制中将显示含临时子订单编号的节点。 5. 拆分订单(父订单)的状态现在应该是 分解。 检查生产订单是否采用计算所得的副产品价格进行贷记。 订单已拆分。

    5.2K21发布于 2018-03-27
  • 来自专栏c++

    【Linux】进程(4)进程优先级、切换和调度

    三、进程调度 那么系统具体是如何做到分时系统的进程切换的呢?接下来我们就以Linux优秀的调度算法O(1)时间复杂度来认识认识原理。 我们知道,int类型它拥有4个字节且每个字节都有一个地址。一个变量的地址永远都是地址数据最小的那一个,结构体变量也是如此。 Linux调度算法重新设计双链表 在之前的博客里面我们了解到Linux系统里面它是通过双链表来进行PCB的管理。那么这个双链表它究竟是怎样的呢? 3.2 认识runqueue 每一个cpu都有一个调度队列,这个调度队列是一个结构体,里面包含了很多成员变量,接下来我会讲圈出来的部分和两个指针active和expired来更深刻的了解Linux的调度逻辑 我们知道,一个字节 8个比特位,一个 long 类型是4个字节即32个比特位。

    16310编辑于 2026-01-14
  • 来自专栏johnhuster

    knife4j生产环境禁止打开页面

    Knife4j是一个集Swagger2 和 OpenAPI3为一体的增强解决方案,官网地址:Knife4j · 集Swagger2及OpenAPI3为一体的增强解决方案. | Knife4j 考虑到安全性问题 ,在实际服务部署到生产环境后就需要禁用到swagger页面的展示,这个时候只需要进行如下配置即可实现该功能: knife4j: production: true 是的,通过设置knife4j.production 为true就意味着在生产环境下,这个时候就无法打开swagger对应页面,当你输入http://localhost:8081/doc.html页面会返回如下错误信息: 下面简单看下knife4j是如何实现该功能的 ,找到Knife4jAutoConfiguration这个类,看如下的Bean创建即可 // knife4j.productio为true时创建ProductionSecurityFilter对象 if (knife4jProperties == null) { if (environment !

    2K10编辑于 2024-03-09
  • 来自专栏pangguoming

    Neo4j 2.0 生产环境集群搭建

    (例如F:\)      4、修改Neo4j配置文件(F:\neo4j-enterprise-2.0.0-M04-windows\neo4j-enterprise-2.0.0-M04\conf\neo4j.properties 2、ping 10.230.9.91和10.230.9.93,看是否能ping通 3、解压Neo4j 安装文件到某一目录下(例如F:\) 4、修改Neo4j配置文件(F:\neo4j-enterprise 3、解压Neo4j 安装文件到某一目录下(例如F:\) 4、修改Neo4j配置文件(F:\neo4j-enterprise-2.0.0-M04-windows\neo4j-enterprise-2.0.0 注:按照neo4j manual的写法,windows和linux生产环境集群,搭建后的验证方法相同。 8、配置相互间ssh无密码登陆: 将neo4j-01上的/home/neo4j/.ssh/authorized_keys的内容追加到neo4j-02和neo4j-03上的此文件中。

    2K40发布于 2018-03-07
  • 来自专栏DolphinScheduler

    4 篇|状态机:调度系统真正的灵魂

    《深入理解ApacheDolphinScheduler:从调度原理到DataOps实战》系列专栏,尝试从真实工程场景出发,拆解调度背后的关键设计。 调度系统的运行,本质上不是“执行任务”,而是“推动状态向前演进”。为什么调度系统必须依赖状态机调度系统与普通程序最大的区别在于,它的执行过程具有长生命周期与不确定性。 状态变化才是驱动调度循环的真正事件源。 这是一种“数据库驱动调度”的模式。系统的健壮性来源于状态可重建,而不是节点稳定。为什么“任务卡住”通常不是Bug在生产环境中,“任务卡住”是最常见的抱怨之一。 前文回顾:第1篇|调度系统,不只是一个“定时器”第2篇|ApacheDolphinScheduler的核心抽象模型第3篇|调度是如何“跑起来”的?下篇预告:第5篇|失败、重试、补数:调度语义的真相

    12310编辑于 2026-03-05
  • 来自专栏千里行走

    aws生产实践-4:EC2挂载磁盘

    加到/etc/fstab中:(磁盘被手动挂载之后都必须把挂载信息写入/etc/fstab这个文件中,否则下次开机启动时仍然需要重新挂载)。

    1.5K20发布于 2021-10-28
  • 来自专栏CU技术社区

    4个Shell小技巧,帮你提高学习生产效率

    下面就是他分享的4个tips。由于本文中涉及到的shell脚本过多,你可以去文末地址中查看所有脚本的源代码。 当我们输入r awesome_video.mp4时,它会搜索awesome_video.mp4文件所在路径,并连同主机名以字符串rtransfer <host> <path>的形式打印出来。 ?

    88210发布于 2019-10-25
  • 生产计划、排产调度、现场管控、质量管理怎么做?一文看懂生产全流程管理

    生产计划、排产调度、现场管控与质量管理,这几大环节紧密咬合,如同精密机械的齿轮,协同运转,共同决定着企业的生产效率、产品质量以及成本控制水平,进而深刻影响企业的市场竞争力与可持续发展能力。 二、排产调度:动态优化,高效执行排产调度的有效实施,需要紧密结合需求分析、资源统筹以及动态调整等核心环节。以下是基于众多行业实践经验所总结提炼出的关键步骤与方法。 瓶颈优先:在排产调度过程中,优先考虑关键设备与工序的任务安排。例如在半导体行业,光刻机作为核心设备,其排程直接影响整个生产流程的效率,因此需重点保障其高效运行。 排产调度实施步骤需求分析与优先级排序:订单分类按照客户等级(如采用 ABC 分类法)、交货期紧急度、利润率等多个维度,对订单进行细致分类,从而明确不同订单的优先级。 资源能力评估设备产能精确计算设备的标准工时,例如汽车生产线通过精准测定节拍时间,来合理安排生产任务,提高生产效率。

    1.2K10编辑于 2025-07-04
领券