- 综合排序
- 最热优先
- 最新优先
- 来自专栏一起学Golang
Go调度器系列（3）图解调度原理
如果你已经阅读了前2篇文章：《调度起源》和《宏观看调度器》，你对G、P、M肯定已经不再陌生，我们这篇文章就介绍Go调度器的基本原理，本文总结了12个主要的场景，覆盖了以下内容： G的创建和分配。 场景12：（无图场景）Go调度在go1.12实现了抢占，应该更精确的称为请求式抢占，那是因为go调度器的抢占和OS的线程抢占比起来很柔和，不暴力，不会说线程时间片到了，或者更高优先级的任务到了，执行抢占调度 场景融合 如果把上面所有的场景都融合起来，就能构成下面这幅图了，它从整体的角度描述了Go调度器各部分的关系。 总结，Go调度器和OS调度器相比，是相当的轻量与简单了，但它已经足以撑起goroutine的调度工作了，并且让Go具有了原生（强大）并发的能力，这是伟大的。 推荐阅读 Go调度器系列（1）起源 Go调度器系列（2）宏观看调度器 参考资料 在学习调度器的时候，看了很多文章，这里列一些重要的： The Go scheduler: https://morsmachine.dk
96730发布于 2019-04-23 - 来自专栏linux内核源码学习
调度器及CFS调度器
如果调度器支持就绪状态切换到执行状态，同时支持执行状态切换为就绪状态，就称该调度器为抢占式调度器。 #define SCHED_NORMAL 0 #define SCHED_FIFO 1 #define SCHED_RR 2 #define SCHED_BATCH 3 /* SCHED_ISO: reserved 普通进程的调度策略，使我们task以最低优先级选择CFS调度器来调度运行 SCHED_DEADLINE：限期进程调度策略，使我们task选择Deadline调度器来调度运行 注：stop调度器和DLE-task 调度器，仅使用于内核，用户没有办法进行选择 CFS调度器 完全公平调度算法体现在对待每个进程都是公平的，让每个进程都运行一段相同的时间片，这就是基于时间片轮询调度算法。 周期性调度器：根据频率自动调用scheduler_tick函数，根据进程运行时间触发调度 上下文切换：主要做两个事情（切换地址空间、切换寄存器和栈空间） CFS调度器的
1.5K40编辑于 2022-11-21 - 来自专栏韩曙亮的移动开发专栏
【Linux 内核】CFS 调度器 ④ ( 调度子系统组件模块 | 主调度器、周期性调度器 | 调度器类 )
文章目录 一、调度子系统组件模块 二、主调度器、周期性调度器 三、调度器类 一、调度子系统组件模块 ---- 调度器 需要对 被调度的进程 进行 排序 和 调度管理 , 进程管理过程需要 调度器 的 组件模块 , 以及相关 算法 数据结构 来完成 , 如 : 执行队列 ; 二、主调度器、周期性调度器 ---- CPU 通过 " 上下文切换 " 选择 " 主调度器 " 或 " 周期性调度器 " , " 上下文切换 " 主要完成 切换地址空间 , 切换寄存器 , 切换栈空间 工作 ; " 主调度器 " 通过 调用 schedule() 方法 , 完成 进程的 调度 和 切换 ; " 周期性调度器 " 根据 相应频率 , 自动调用 scheduler_tick() 函数 , 完成调度 , 这是根据 进程 运行时间 , 自动触发进程调度 ; 三、调度器类 ---- 主调度器 或 周期性调度器 根据 不同的 " 选择进程 " 选择不同的 调度器类 , 可选的调度类参考 【Linux 内核】调度器 ⑦ ( 调度器类型 | 停机调度类 stop_sched_class | 限期调度类 dl_sched_class | 实时调度类
3.6K10编辑于 2023-03-30 - 来自专栏爱生活爱编程
hadoop3 Yarn容量(Capacity Scheduler)调度器和公平(Fair Scheduler)调度器配置
文章目录 组件模块说明 容量调度器（Capacity Scheduler） 容量调度器特点 公平调度器（Fair Scheduler） 配置容量调度器案例 例子1 例子2 例子3 例子4 配置公平调度器案例 容量调度器（Capacity Scheduler） hadoop3默认的调度器 容量调度器特点 图中queueA分配最多20%资源，queueB分配50%，queueC分配30%。 公平调度器（Fair Scheduler） hadoop3默认的容量调度器可以改为公平调度器 同队列所有任务共享资源，在时间尺度上获得公平的资源。 配置容量调度器案例 以下执行yarn rmadmin -refreshQueues可刷新队列配置 例子1 default 队列占总内存的 40%，最大资源容量占总资源 60%（容量调度器允许借用其他队列剩余的资源 公平调度器的配置涉及到两个文件，一个是yarn-site.xml，另一个是公平调度器队列分配文件fair-scheduler.xml（文件名可自定义）。
1.9K10编辑于 2022-06-14 - 来自专栏小脑斧科技博客
linux 进程调度器（下） -- 调度器演进
O(n) 调度器。 3. 4.1 调度器分层思想 而事实证明，在公平策略调度器基础上改进设计的 CFS 确实是一款优秀的调度器，它的思想是将调度器进行模块化，从而让操作系统中可以有多种调度器以不同的策略和优先级来执行。 操作系统中，调度器由此分为四层： DL 调度器：采用 sched_deadline 策略； RT 调度器：采用 sched_rr 和 sched_fifo 策略； CFS 调度器：采用 sched_normal O(n) 调度器这类通过分配固定时间片的调度器所不能实现的。
2.9K20编辑于 2022-09-23 - 来自专栏韩曙亮的移动开发专栏
【Linux 内核】调度器 ① ( 调度器概念 | 调度器目的 | 调度器主要工作 | 调度器位置 | 进程优先级 | 抢占式调度器 | Linux 进程状态 | Linux 内核进程状态 )
文章目录 一、调度器 0、调度器概念 1、调度器目的 2、调度器主要工作 3、调度器位置 4、进程优先级 5、抢占式调度器 二、Linux 内核进程状态 API 简介 三、Linux 进程状态 一、调度器 ---- 0、调度器概念 Linux 内核的 " 进程调度 " 是按照 设计好的调度算法 安排的 , 该算法对应的功能模块 称为 " 调度器 " , 英文名称是 Scheduler ; 1、调度器目的 进程调度 目的是 最大限度利用 CPU 资源 , 也就是 CPU 时间片 ; 2、调度器主要工作 " 调度器 " 主要的工作 : ① 就绪 -> 执行 : 选择 " 就绪状态 " 的进程执行 ; ( " , 主要是 " 就绪状态 " 与 " 执行状态 " 这两个状态之间相互切换 ; 3、调度器位置 调度器 在 如下的 进程状态图 中的位置是 " 就绪状态 " 与 " 运行状态 " 之间 ; 就绪状态 " 抢占式调度器 " 概念 : 如果 " 调度器 " 支持 " 就绪状态 " 与 " 运行状态 " 之间可以相互转换 , 则该调度器称为 " 抢占式调度器 " ; 二、Linux 内核进程状态 API
6.5K20编辑于 2023-03-30 - 来自专栏一起学Golang
Go调度器系列（2）宏观看调度器
上一篇文章《Go语言高阶：调度器系列（1）起源》，学goroutine调度器之前的一些背景知识，这篇文章则是为了对调度器有个宏观的认识，从宏观的3个角度，去看待和理解调度器是什么样子的，但仍然不涉及具体的调度原理 三个角度分别是： 调度器的宏观组成 调度器的生命周期 GMP的可视化感受 在开始前，先回忆下调度器相关的3个缩写： G: goroutine，每个G都代表1个goroutine M: 工作线程，是Go语言定义出来在用户层面描述系统线程的对象 3者的简要关系是P拥有G，M必须和一个P关联才能运行P拥有的G。 调度器的功能 《Go语言高阶：调度器系列（1）起源》中介绍了协程和线程的关系，协程需要运行在线程之上，线程由CPU进行调度。 Scheduler的宏观组成 Tony Bai在《也谈goroutine调度器》中的这幅图，展示了goroutine调度器和系统调度器的关系，而不是把二者割裂开来，并且从宏观的角度展示了调度器的重要组成 总结时刻 这篇文章，从3个宏观的角度介绍了调度器，也许你依然不知道调度器的原理，心里感觉模模糊糊，没关系，一步一步走，通过这篇文章希望你了解了： Go调度器和OS调度器的关系 Go调度器的生命周期/总体流程
75031发布于 2019-04-23 - 来自专栏一起学Golang
Go调度器系列（2）宏观看调度器
上一篇文章《Go语言高阶：调度器系列（1）起源》，学goroutine调度器之前的一些背景知识，这篇文章则是为了对调度器有个宏观的认识，从宏观的3个角度，去看待和理解调度器是什么样子的，但仍然不涉及具体的调度原理 三个角度分别是： 调度器的宏观组成 调度器的生命周期 GMP的可视化感受 在开始前，先回忆下调度器相关的3个缩写： G: goroutine，每个G都代表1个goroutine M: 工作线程，是Go语言定义出来在用户层面描述系统线程的对象 3者的简要关系是P拥有G，M必须和一个P关联才能运行P拥有的G。 调度器的功能 《Go语言高阶：调度器系列（1）起源》中介绍了协程和线程的关系，协程需要运行在线程之上，线程由CPU进行调度。 Scheduler的宏观组成 Tony Bai在《也谈goroutine调度器》中的这幅图，展示了goroutine调度器和系统调度器的关系，而不是把二者割裂开来，并且从宏观的角度展示了调度器的重要组成 总结时刻 这篇文章，从3个宏观的角度介绍了调度器，也许你依然不知道调度器的原理，心里感觉模模糊糊，没关系，一步一步走，通过这篇文章希望你了解了： Go调度器和OS调度器的关系 Go调度器的生命周期/总体流程
83250发布于 2019-04-11 - 来自专栏米奇爱编程
Goroutine调度器
这就涉及goroutine的G-P-M调度模型。 G-P-M调度模型 Golang能够拥有强大的并发能力需要归功于G-P-M调度模型，首先需要解释G、P、M分别代表什么： ? P 代表Processor，逻辑处理器。P维护Goroutine各种队列，mcache和状态。P的数量决定了最大可并行的Goroutine数量（前提：系统物理CPU核数>=P数量）。 调度逻辑 ? 从图中可以看出，一共有两个物理线程M，每个M都绑定一个处理器P，每个P维护一个就绪状态的Goroutine队列，灰色的表示在等待P调度，蓝色的G代表正绑定P在M中执行。 当执行的Goroutine（G0）调度阻塞的系统调度时，P会切到另外的M'中，如果没有可用的M'就会创建一个，继续执行队列中的G。 总结 文章介绍了Golang自带的goroutine调度器G-P-M调度模型，G-P-M调度算法最大限度的发挥了并发性能，同时在一些异常情况下也能正常快速调度。
62020发布于 2019-08-29 - 来自专栏linux驱动个人学习
调度器增强
如果一个处理器负责3个并发的应用程序，而另一个只能处理空闲进程，那是没有意义的。 进程与系统中某些处理器的亲合性（affinity）必须是可设置的。 例如在4个CPU系统中，可以将计算密集型应用程序绑定到前3个CPU，而剩余的（交互式）进程则在第4个CPU上运行。 内核必须能够将进程从一个CPU迁移到另一个。 特定于调度器类的函数接下来建立一个迭代器，使得核心调度器能够遍历所有可能迁移到另一个队列的备选进程，但各个调度器类的内部结构不能因为迭代器而暴露给核心调度器。 调度域和控制组 在此前对调度器代码的讨论中，调度器并不直接与进程交互，而是处理可调度实体。这使得可以实现组调度：进程置于不同的组中，调度器首先在这些组之间保证公平，然后在组中的所有进程之间保证公平。 如果未选择支持组调度，则会退化为只执行一次循环体中的代码，因此又恢复了先前的讨论所描述的行为特性。 3.
1K10发布于 2018-12-19 - 来自专栏Golang语言社区
Goroutine调度器
这个调度器的原理以及实现值得我们去深入研究一下。支撑整个调度器的主要有4个重要结构，分别是P、M、G、Sched，前三个定义在runtime.h中，Sched定义在proc.c中。 Sched结构就是调度器，它维护有存储M和G的队列以及调度器的一些状态信息等。 一个真正干活的Go程序，一定创建有不少的goroutine，所以在Go程序开始运行后，就会向调度器添加goroutine，调度器就要负责维护好这些goroutine的正常执行。 从goroutine的调度点可以看出，调度器还是挺粗暴的，调度粒度有点过大，公平性也没有想想的那么好。总之，这个调度器还是比较简单的。 综上所述，goroutine上下文切换的调度时机可分为以下几个条件： 1、goroutine阻塞(waiting) 2、显式调用runtime.gosched() 3、系统调用system call 协程一般都是这样工作的
81420发布于 2018-07-26 - 来自专栏Golang语言社区
Go 语言调度（二）: goroutine 调度器
原文作者：达菲格 来源：简书 介绍 上一篇文章我对操作系统级别的调度进行了讲解，这对理解 Go 语言的调度器是很重要的。这篇文章，我将解释下 Go 语言的调度器是如何工作的。 当前版本的 Go 调度器实现并不是抢占式的，而是一个协同调度器。这就意味着调度器需要明确定义用户态事件来指定调度决策。 非抢占式调度器的精彩之处在于，它看上去是抢占式的。 你不能预知 Go 调度器将会做什么。因为调度器的调度决策权并没有交给开发者，而是在运行时里。 Goroutine 状态 就像线程，Goroutine 也拥有同样的 3 个高级状态。 这决定了他们在 Go 调度器中扮演的角色。一个 Goroutine 有 3 中状态：阻塞态，就绪态，运行态 阻塞态： 这表示 Goroutine 被暂停了，要等待一些事情发生了才能继续。 上图展示了我们基础的调度轮廓。G1 在 M 上执行，同事其他 3 个 Goroutine 在 LRQ 中等待 M。现在 network poller 没有事情可做。 ?
1.1K40发布于 2019-05-08 - 来自专栏方方的杂货铺
asio 调度器实现 - operation 调度详解
作为一个 lambda post 类型的调度器实现, 首先要打理的, 肯定是的函数对象如何投递, 如何保存, 如何执行了. 我们先来回顾一下上一篇中的调度概览图: 如上图所示, ASIO 调度的核心对象是 io_context, 作为通用任务调度器的时候, 我们也可以直接把 io_context 看作是 execution_context run(), 这样在外围有work_guard的情况下, 通过run()内部的for()循环, 推送到 scheduler::op_queue_ 上的所有operation会被依次执行, 从而正确驱动整个调度器的工作 这也是比较常见的情况 , 比如对于游戏来说, 主线程一般除了调度器的执行, 还包含其他逻辑的执行, 这个时候, 就比较适合使用上面的几种情况来组织主循环了, 下面给出一个简单的示例: while(! , 可以与其他代码更好的组合协同工作. 2.5 run()过程总结 整个run()过程都是围绕调度器的任务队列(op_queue_)来进行的,通过阅读asio相关的代码, 我们可以看到, asio对锁的使用非常注意
1.1K60编辑于 2023-05-23 - 来自专栏linux驱动个人学习
Linux 进程调度之schdule主调度器
，调度器只会选择在该状态下的任务进行调度。 直接调用主调度器schdule函数的场景有3种： （1）当前进程需要等待某个条件满足才能继续运行时，调用一个wait_event()类函数将自己的状态设为TASK_INTERRUPTIBLE或者TASK_UNINTERRUPTIBLE CR3寄存器放的是 页目录表物理内存基地址。 (oldmm, mm, next); -->load_cr3(next->pgd); //加载下一个任务的CR3 （3）切换任务的寄存器和内核态堆栈，保存原任务（prev）的所有寄存器信息， 保存原任务的所有寄存器信息，恢复新任务的所有寄存器信息，并执行新的任务。 （3）上下文切换完后，新的任务投入运行。 如下图所示：
2.9K20编辑于 2023-05-03 - 来自专栏Vamei实验室
调度器简介，以及Linux的调度策略
内核中安排进程执行的模块称为调度器（scheduler）。这里将介绍调度器的工作方式。 进程状态 调度器可以切换进程状态（process state）。 当计算机中有大量进程在运行时，这个调度器的性能将会被大大降低。也就是说，O(n)调度器没有很好的可拓展性。O(n)调度器是Linux 2.6之前使用的进程调度器。 比如，计算优先级为100、110、120、130和139这几个进程的时间片长度，如表3所示。 ? 表3 进程的时间片长度 从表格中你会发现，优先级为110和120的进程的时间片长度差距比120和130之间的大了10倍。也就是说，进程时间片长度的计算存在很大的随机性。 以上就是调度器的基本原理，以及Linux用过的几种调度策略。调度器可以更加合理地把CPU时间分配给进程。现代计算机都是多任务系统，调度器在多任务系统中起着顶梁柱的作用。
2.6K21发布于 2018-08-02 - 来自专栏韩曙亮的移动开发专栏
【Linux 内核】CFS 调度器 ② ( CFS 调度器 “ 权重 “ 概念 | CFS 调度器调度实例 | 计算进程 “ 实际运行时间 “ )
文章目录 一、CFS 调度器 " 权重 " 概念 二、CFS 调度器调度实例 ( 计算进程 " 实际运行时间 " ) 一、CFS 调度器 " 权重 " 概念 ---- CFS 调度器 ( Completely Fair Scheduler ) " 完全公平调度器 " , 实际运行过程中 , 会涉及到 具有 不同 " 进程优先级 " 的 进程 之间的调度 , 有些进程 优先级高 , 有些进程 优先级低 , 为了避免 优先级低 的进程 始终无法得到 CPU 时间 执行 , 向每个进程提供 公平 调度 , CFS 调度器 引入了 " 权重 " 概念 , CFS 使用 " 权重 " 值 , 替代 进程的 优先级 , 不同 " 进程优先级 " 的进程 会按照 权重比例 , 分配 CPU 的执行时间 ; 二、CFS 调度器调度实例 ( 计算进程 " 实际运行时间 " ) ---- 有 2 个进程 A 和 B 进程获取的CPU 时间比例 = \cfrac{A 进程权重}{所有进程的权重之和} \rm A 进程获取的CPU 时间比例 = \cfrac{512}{512 + 1024} = \cfrac{1}{3}
2.2K30编辑于 2023-03-30 - 来自专栏小许code
Go调度系列--调度器实现原理(二）
编辑 添加图片注释，不超过 140 字（可选） Go调度器原理 调度模型演化 Go调度其实本质就是将 Goroutine (G）按照一定算法放到CPU上去执行。 因为线程是CPU调度的基本单位，而不是协程，所以Go调度器需要将Goroutine放到内核线程上去（M）,然后操作系统调度器将内核线程放到CPU上去执行（这块其实是操作系统层的工作了）。 绑定P，指向P中的G） 全局G队列，链表，无限制 自旋线程（绑定P，指向M的G0） 网络轮询器network poller(存放网络调用被阻塞的G) 调度器启动 从编译的角度看调度器启动过程有以下几步 调用 runtime·schedinit 来初始化调度系统，会进行p的初始化，也会把m0和某个p绑定。 3. 参考资料： 【调度器(详细介绍)】 【Go语言设计与实现】
80420编辑于 2023-03-20 - 来自专栏CNCF
Kubernetes调度器101
以上步骤中最困难的部分可能是调度器决定应该选择哪个节点来运行pod。实际上，这一部分的工作量最大，因为调度器必须使用几种算法来进行决策。 最后的决定 你可能会问，如果Kubernetes调度器在选择部署pod的节点之前必须考虑许多因素，那么它如何才能选择正确的节点呢？ 嗯，决策过程如下： 调度器确定它知道的所有节点的存在和状态。 调度器运行谓词测试来过滤不适合的节点。其余的节点组成一组可能用的节点。 调度器对可能用的节点运行优先级测试。按分数排序，分数最高的排在前面。此时，将选择得分最高的节点。 我们不希望调度器在这组节点之外做出决策。这与节点选择器的行为相同，但是语法更富表现力。 此选项将尝试在选择器指定的节点上运行pod。但是如果这些节点不可用（测试失败），调度器将尝试在次佳节点上运行pod。
1K10发布于 2019-12-04 - 来自专栏Swift社区
了解 Swift 调度器
根据调度器的文档[1]，调度器是 "一个定义何时何地执行一个闭包的协议"。从本质上讲，调度器为开发者提供了一种在特定安排下执行代码的方式，有助于在应用程序中运行队列命令。 调度器的类型 有几种类型的调度器是Combine 内置的[2]。值得注意的是，调度器遵循调度器协议，这可以在上面链接的调度器文档中找到。 默认的调度器 如果你没有为一个任务指定调度器，Combine 会为它提供一个默认的调度器。所提供的调度器将使用执行该任务的同一线程。 Combine 将在我们任务执行的同一个调度器中添加一个默认的调度器。 我们还学习了如何在 Combine 中使用调度器执行异步功能，即在后台调度器上订阅并在用户界面调度器上接收我们的值。
3.4K10发布于 2021-11-26 - 来自专栏牛肉圆粉不加葱
YARN资源调度器
这种作业要求有一定量的资源保证，如统计值计算、垃圾数据分析等 ---- 基本架构 资源调度器是YARN中最核心的组件之一，且是插拔式的，它定义了一整套接口规范以便用户可按照需要实现自己的调度器 YARN 自带FIFO、Capacity Scheduler和Fair Scheduler三种常用资源调度器，当然，用户可按照接口规范编写一个新的资源调度器，并通过简单的配置使它运行起来 YARN的资源管理器实际上是一个事件处理器 中的资源调度器将资源分配给各个ApplicationMaster 第二层中，ApplicationMaster再进一步将资源分配给它的内部任务 YARN的资源分配过程是异步的，也就是说，资源调度器将资源分配给一个应用程序后 为了防止应用程序等待时间过长，调度器等待一段时间后若发现资源并未得到释放，则进行资源抢占 仅当启用的调度器实现了PreemptableResourceScheduler接口，且参数yarn.resourcemanager.secheduler.monitor.enable ，管理员可在调度器中设置每个队列的资源容量，每个用户资源量等信息，而调度器则按照这些资源约束对应用程序进行调度 参考：《Hadoop 技术内幕：深入解析 YARN 架构设计与实现原理》 ----
1.4K60发布于 2018-08-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号