上一篇文章《Go语言高阶:调度器系列(1)起源》,学goroutine调度器之前的一些背景知识,这篇文章则是为了对调度器有个宏观的认识,从宏观的3个角度,去看待和理解调度器是什么样子的,但仍然不涉及具体的调度原理 Scheduler的宏观组成 Tony Bai在《也谈goroutine调度器》中的这幅图,展示了goroutine调度器和系统调度器的关系,而不是把二者割裂开来,并且从宏观的角度展示了调度器的重要组成 Goroutine调度器和OS调度器是通过M结合起来的,每个M都代表了1个内核线程,OS调度器负责把内核线程分配到CPU的核上执行。 GMP的可视化感受 上面的两个宏观角度,都是根据文档、代码整理出来,最后我们从可视化角度感受下调度器,有2种方式。 总结时刻 这篇文章,从3个宏观的角度介绍了调度器,也许你依然不知道调度器的原理,心里感觉模模糊糊,没关系,一步一步走,通过这篇文章希望你了解了: Go调度器和OS调度器的关系 Go调度器的生命周期/总体流程
上一篇文章《Go语言高阶:调度器系列(1)起源》,学goroutine调度器之前的一些背景知识,这篇文章则是为了对调度器有个宏观的认识,从宏观的3个角度,去看待和理解调度器是什么样子的,但仍然不涉及具体的调度原理 Scheduler的宏观组成 Tony Bai在《也谈goroutine调度器》中的这幅图,展示了goroutine调度器和系统调度器的关系,而不是把二者割裂开来,并且从宏观的角度展示了调度器的重要组成 Goroutine调度器和OS调度器是通过M结合起来的,每个M都代表了1个内核线程,OS调度器负责把内核线程分配到CPU的核上执行。 GMP的可视化感受 上面的两个宏观角度,都是根据文档、代码整理出来,最后我们从可视化角度感受下调度器,有2种方式。 总结时刻 这篇文章,从3个宏观的角度介绍了调度器,也许你依然不知道调度器的原理,心里感觉模模糊糊,没关系,一步一步走,通过这篇文章希望你了解了: Go调度器和OS调度器的关系 Go调度器的生命周期/总体流程
调度器相当于CPU的管理员,主要完成两件事: 1.选择某些就绪进程来执行 2.打断某些执行的进程让他们变为就绪态 操作系统还负责“上下文切换”,即保存切换前的寄存器内容等进程的状态 如果调度器支持就绪状态切换到执行状态,同时支持执行状态切换为就绪状态,就称该调度器为抢占式调度器。 MAX_USER_RT_PRIO #define MAX_PRIO (MAX_RT_PRIO + NICE_WIDTH) #define DEFAULT_PRIO (MAX_RT_PRIO + NICE_WIDTH / 2) #define SCHED_NORMAL 0 #define SCHED_FIFO 1 #define SCHED_RR 2 #define SCHED_BATCH 3 /* SCHED_ISO: reserved 普通进程的调度策略,使我们task以最低优先级选择CFS调度器来调度运行 SCHED_DEADLINE:限期进程调度策略,使我们task选择Deadline调度器来调度运行 注:stop调度器和DLE-task
文章目录 一、调度子系统组件模块 二、主调度器、周期性调度器 三、调度器类 一、调度子系统组件模块 ---- 调度器 需要对 被调度的进程 进行 排序 和 调度管理 , 进程管理过程需要 调度器 的 组件模块 , 以及相关 算法 数据结构 来完成 , 如 : 执行队列 ; 二、主调度器、周期性调度器 ---- CPU 通过 " 上下文切换 " 选择 " 主调度器 " 或 " 周期性调度器 " , " 上下文切换 " 主要完成 切换地址空间 , 切换寄存器 , 切换栈空间 工作 ; " 主调度器 " 通过 调用 schedule() 方法 , 完成 进程的 调度 和 切换 ; " 周期性调度器 " 根据 相应频率 , 自动调用 scheduler_tick() 函数 , 完成调度 , 这是根据 进程 运行时间 , 自动触发进程调度 ; 三、调度器类 ---- 主调度器 或 周期性调度器 根据 不同的 " 选择进程 " 选择不同的 调度器类 , 可选的调度类参考 【Linux 内核】调度器 ⑦ ( 调度器类型 | 停机调度类 stop_sched_class | 限期调度类 dl_sched_class | 实时调度类
2. O(n) 调度器 在早期的 linux 操作系统中,2.4 版本到 2.6 版本之间,linux 采用了实现起来十分简单的 O(n) 调度器。 O(n) 调度器。 4.1 调度器分层思想 而事实证明,在公平策略调度器基础上改进设计的 CFS 确实是一款优秀的调度器,它的思想是将调度器进行模块化,从而让操作系统中可以有多种调度器以不同的策略和优先级来执行。 操作系统中,调度器由此分为四层: DL 调度器:采用 sched_deadline 策略; RT 调度器:采用 sched_rr 和 sched_fifo 策略; CFS 调度器:采用 sched_normal O(n) 调度器这类通过分配固定时间片的调度器所不能实现的。
文章目录 一、调度器 0、调度器概念 1、调度器目的 2、调度器主要工作 3、调度器位置 4、进程优先级 5、抢占式调度器 二、Linux 内核进程状态 API 简介 三、Linux 进程状态 一、调度器 ---- 0、调度器概念 Linux 内核的 " 进程调度 " 是按照 设计好的调度算法 安排的 , 该算法对应的功能模块 称为 " 调度器 " , 英文名称是 Scheduler ; 1、调度器目的 进程调度 目的是 最大限度利用 CPU 资源 , 也就是 CPU 时间片 ; 2、调度器主要工作 " 调度器 " 主要的工作 : ① 就绪 -> 执行 : 选择 " 就绪状态 " 的进程执行 ; ( " , 主要是 " 就绪状态 " 与 " 执行状态 " 这两个状态之间相互切换 ; 3、调度器位置 调度器 在 如下的 进程状态图 中的位置是 " 就绪状态 " 与 " 运行状态 " 之间 ; 就绪状态 " 抢占式调度器 " 概念 : 如果 " 调度器 " 支持 " 就绪状态 " 与 " 运行状态 " 之间可以相互转换 , 则该调度器称为 " 抢占式调度器 " ; 二、Linux 内核进程状态 API
这就涉及goroutine的G-P-M调度模型。 G-P-M调度模型 Golang能够拥有强大的并发能力需要归功于G-P-M调度模型,首先需要解释G、P、M分别代表什么: ? Goroutine栈采用按需动态分配的方式,初始化大小为2KB,最大为1GB(64位机器)。 P 代表Processor,逻辑处理器。P维护Goroutine各种队列,mcache和状态。 调度逻辑 ? 从图中可以看出,一共有两个物理线程M,每个M都绑定一个处理器P,每个P维护一个就绪状态的Goroutine队列,灰色的表示在等待P调度,蓝色的G代表正绑定P在M中执行。 当执行的Goroutine(G0)调度阻塞的系统调度时,P会切到另外的M'中,如果没有可用的M'就会创建一个,继续执行队列中的G。 总结 文章介绍了Golang自带的goroutine调度器G-P-M调度模型,G-P-M调度算法最大限度的发挥了并发性能,同时在一些异常情况下也能正常快速调度。
该函数的代码流程图如图2-26所示。请注意,我在该图中描述的是一个简化的版本,因为SMP调度器必须处理大量边边角角的情况。如果都画出来,相关的细节会扰乱图中真正的实质性操作。 ? 一个是用于完成发自调度器的迁移请求,另外一个是用于实现主动均衡。迁移线程是一个执行migration_thread的内核线程。该函数的代码流程图如图2-27所示。 2. 调度域和控制组 在此前对调度器代码的讨论中,调度器并不直接与进程交互,而是处理可调度实体。 该情形如图2-29所示。 ? 这设置了抢占计数器中的一个标志位,使之有一个很大的值,这样就不受普通的抢占计数器加1操作的影响了,如图2-30所示。它向schedule函数表明,调度不是以普通方式引发的,而是由于内核抢占。
这个调度器的原理以及实现值得我们去深入研究一下。支撑整个调度器的主要有4个重要结构,分别是P、M、G、Sched,前三个定义在runtime.h中,Sched定义在proc.c中。 Sched结构就是调度器,它维护有存储M和G的队列以及调度器的一些状态信息等。 一个真正干活的Go程序,一定创建有不少的goroutine,所以在Go程序开始运行后,就会向调度器添加goroutine,调度器就要负责维护好这些goroutine的正常执行。 从goroutine的调度点可以看出,调度器还是挺粗暴的,调度粒度有点过大,公平性也没有想想的那么好。总之,这个调度器还是比较简单的。 综上所述,goroutine上下文切换的调度时机可分为以下几个条件: 1、goroutine阻塞(waiting) 2、显式调用runtime.gosched() 3、系统调用system call 协程一般都是这样工作的
原文作者:达菲格 来源:简书 介绍 上一篇文章我对操作系统级别的调度进行了讲解,这对理解 Go 语言的调度器是很重要的。这篇文章,我将解释下 Go 语言的调度器是如何工作的。 在 Go 调度器中有 2 个不同的执行队列:全局队列(Global Run Queue, 简称 GRQ)和本地队列(Local Run Queue,简称 LRQ)。 当前版本的 Go 调度器实现并不是抢占式的,而是一个协同调度器。这就意味着调度器需要明确定义用户态事件来指定调度决策。 非抢占式调度器的精彩之处在于,它看上去是抢占式的。 这时,调度器会将 M 从 P 上分离出去,G1 依旧附在 M 上被一起分离了。然后调度器获取一个 M2 为 P 服务。此时,G2 会被选中切换到 M2 上执行。 让我们用 Go 调度器调度 Goroutine 来完成通用的操作。 ? 上图中,有 2 个 Goroutine 彼此直线通过互相消息来协同工作。
作为一个 lambda post 类型的调度器实现, 首先要打理的, 肯定是的函数对象如何投递, 如何保存, 如何执行了. 我们先来回顾一下上一篇中的调度概览图: 如上图所示, ASIO 调度的核心对象是 io_context, 作为通用任务调度器的时候, 我们也可以直接把 io_context 看作是 execution_context run(), 这样在外围有work_guard的情况下, 通过run()内部的for()循环, 推送到 scheduler::op_queue_ 上的所有operation会被依次执行, 从而正确驱动整个调度器的工作 这也是比较常见的情况 , 比如对于游戏来说, 主线程一般除了调度器的执行, 还包含其他逻辑的执行, 这个时候, 就比较适合使用上面的几种情况来组织主循环了, 下面给出一个简单的示例: while(! , 可以与其他代码更好的组合协同工作. 2.5 run()过程总结 整个run()过程都是围绕调度器的任务队列(op_queue_)来进行的,通过阅读asio相关的代码, 我们可以看到, asio对锁的使用非常注意
@toc 温馨提示:本文不描述与浮点相关的寄存器的内容,如需了解自行查阅(毕竟我自己也不懂) 调度器的基本概念 TencentOS tiny中提供的任务调度器是基于优先级的全抢占式调度,在系统运行过程中 相同优先级的任务采用时间片轮转方式进行调度(也就是通常说的分时调度器),时间片轮转调度仅在当前系统中无更高优先级就绪任务的情况下才有效。 调度器是操作系统的核心,其主要功能就是实现任务的切换,即从就绪列表里面找到优先级最高的任务,然后去执行该任务。 启动调度器 调度器的启动由cpu_sched_start函数来完成,它会被tos_knl_start函数调用,这个函数中主要做两件事,首先通过readyqueue_highest_ready_task_get ps : 在调度器启动时,k_next_task与k_curr_task是一样的(k_curr_task = k_next_task) 加载R2到R0,然后将栈顶指针R0更新到psp,任务执行的时候使用的栈指针是
用于在Score阶段,过滤出节点上与pod(待调度)同一个的其他pods对象。 Score 打分的统计阶段。 对于该优选策略,统计节点会给node上的pods做统计,统计的匹配条件是被调度pod的namespace和preScore推导出的selector,方法是遍历当前node节点上所有的pods,如果符合匹配条件 代码逻辑如下: image.png NormalizeScore 分数计算阶段,在该阶段,会计算出所有node的分数(在调度过程中起作用的分数值)。 计算方法如下: 其中,在最后打分环节,zone的权重(zoneWeighting)为2/3,node的权重(nodeWeighting)是1/3。 ,node4000201的打分是61,所以在考虑其他策略打分一样的情况下,新扩容的pod会被调度到node4000201这个节点上。
调度器的基本概念 TencentOS tiny中提供的任务调度器是基于优先级的全抢占式调度,在系统运行过程中,当有比当前任务优先级更高的任务就绪时,当前任务将立刻被切出,高优先级任务抢占处理器运行。 相同优先级的任务采用时间片轮转方式进行调度(也就是通常说的分时调度器),时间片轮转调度仅在当前系统中无更高优先级就绪任务的情况下才有效。 调度器是操作系统的核心,其主要功能就是实现任务的切换,即从就绪列表里面找到优先级最高的任务,然后去执行该任务。 启动调度器 调度器的启动由cpu_sched_start函数来完成,它会被tos_knl_start函数调用,这个函数中主要做两件事,首先通过readyqueue_highest_ready_task_get ps : 在调度器启动时,k_next_task与k_curr_task是一样的(k_curr_task = k_next_task) 加载R2到R0,然后将栈顶指针R0更新到psp,任务执行的时候使用的栈指针是
,调度器只会选择在该状态下的任务进行调度。 (2)sched_class :表示任务所属的调度器类,我们这里只讲CFS调度类。 // kernel/sched/sched.h struct sched_class { ...... 在这里我只讨论普通任务的调度,因为linux大部分情况下都是在运行普通任务,普通任务选择的调度器是CFS完全调度。 在调度时,调度器去 CFS 运行队列找是否有任务需要运行。 而schedule函数参数固定传入的参数是false,也就是0,就是调用schedule函数就是主动发起调度,不是抢占调度,因此schedule函数称为主调度器。 (2)进行任务上下文切换,上下文切换又分用户态进程空间的切换和内核态的切换。 保存原任务的所有寄存器信息,恢复新任务的所有寄存器信息,并执行新的任务。 (3)上下文切换完后,新的任务投入运行。
内核中安排进程执行的模块称为调度器(scheduler)。这里将介绍调度器的工作方式。 进程状态 调度器可以切换进程状态(process state)。 当计算机中有大量进程在运行时,这个调度器的性能将会被大大降低。也就是说,O(n)调度器没有很好的可拓展性。O(n)调度器是Linux 2.6之前使用的进程调度器。 调度器将对调优先级相同的活跃队列和过期队列继续执行下去。过期队列和活跃队列,如图2所示。 ? 图2 过期队列和活跃队列(需要替换) 我们下面看一个例子,有五个进程,如表1所示。 ? 表1 进程 Linux操作系统中的进程队列(run queue),如表2所示。 ? 表2 进程队列 那么在一个执行周期,被选中的进程依次是先A,然后B和C,随后是D,最后是E。 以上就是调度器的基本原理,以及Linux用过的几种调度策略。调度器可以更加合理地把CPU时间分配给进程。现代计算机都是多任务系统,调度器在多任务系统中起着顶梁柱的作用。
文章目录 一、CFS 调度器 " 权重 " 概念 二、CFS 调度器调度实例 ( 计算进程 " 实际运行时间 " ) 一、CFS 调度器 " 权重 " 概念 ---- CFS 调度器 ( Completely Fair Scheduler ) " 完全公平调度器 " , 实际运行过程中 , 会涉及到 具有 不同 " 进程优先级 " 的 进程 之间的调度 , 有些进程 优先级高 , 有些进程 优先级低 , 为了避免 优先级低 的进程 始终无法得到 CPU 时间 执行 , 向每个进程提供 公平 调度 , CFS 调度器 引入了 " 权重 " 概念 , CFS 使用 " 权重 " 值 , 替代 进程的 优先级 , 不同 " 进程优先级 " 的进程 会按照 权重比例 , 分配 CPU 的执行时间 ; 二、CFS 调度器调度实例 ( 计算进程 " 实际运行时间 " ) ---- 有 2 个进程 A 和 B B 进程获取的CPU 时间比例 = \cfrac{B 进程权重}{所有进程的权重之和} \rm B 进程获取的CPU 时间比例 = \cfrac{1024}{512 + 1024} = \cfrac{2}
编辑 添加图片注释,不超过 140 字(可选) Go调度器原理 调度模型演化 Go调度其实本质就是将 Goroutine (G)按照一定算法放到CPU上去执行。 因为线程是CPU调度的基本单位,而不是协程,所以Go调度器需要将Goroutine放到内核线程上去(M),然后操作系统调度器将内核线程放到CPU上去执行(这块其实是操作系统层的工作了)。 绑定P,指向P中的G) 全局G队列,链表,无限制 自旋线程(绑定P,指向M的G0) 网络轮询器network poller(存放网络调用被阻塞的G) 调度器启动 从编译的角度看调度器启动过程有以下几步 2. 调用 runtime·schedinit 来初始化调度系统,会进行p的初始化,也会把m0和某个p绑定。 3. 参考资料: 【调度器(详细介绍)】 【Go语言设计与实现】
以上步骤中最困难的部分可能是调度器决定应该选择哪个节点来运行pod。实际上,这一部分的工作量最大,因为调度器必须使用几种算法来进行决策。 调度器运行谓词测试来过滤不适合的节点。其余的节点组成一组可能用的节点。 调度器对可能用的节点运行优先级测试。按分数排序,分数最高的排在前面。此时,将选择得分最高的节点。 假设对一个节点进行了测试,看它是否能够提供2GB的内存。在调度器执行谓词检查时,节点确实有一些空闲RAM。然而,当kubelet对节点执行pod时,DaemonSet被部署到相同的节点。 这个守护进程需要一些资源密集型的操作,需要消耗剩余的2GB。现在,当pod试图运行时,由于它缺少正确运行所需的内存,所以它失败了。 我们不希望调度器在这组节点之外做出决策。这与节点选择器的行为相同,但是语法更富表现力。
根据调度器的文档[1],调度器是 "一个定义何时何地执行一个闭包的协议"。从本质上讲,调度器为开发者提供了一种在特定安排下执行代码的方式,有助于在应用程序中运行队列命令。 调度器的类型 有几种类型的调度器是Combine 内置的[2]。值得注意的是,调度器遵循调度器协议,这可以在上面链接的调度器文档中找到。 默认的调度器 如果你没有为一个任务指定调度器,Combine 会为它提供一个默认的调度器。所提供的调度器将使用执行该任务的同一线程。 Combine 将在我们任务执行的同一个调度器中添加一个默认的调度器。 我们还学习了如何在 Combine 中使用调度器执行异步功能,即在后台调度器上订阅并在用户界面调度器上接收我们的值。