- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI系统
【AI系统】计算与调度
组成算子的算法逻辑跟具体的硬件指令代码之间的调度是如何配合？计算与调度计算与调度的来源图像处理在当今物理世界中是十分基础且开销巨大的计算应用。 于 AI 框架而言，所开发的算子是网络模型中涉及到的计算函数。 算子调度具体执行的所有可能的调度方式称为调度空间。AI 编译器优化的目的在于通过对算子进行最佳调度，使得算子在特定硬件上的运行时间达到最优水平。 Reorder(交换)、Split(拆分)、Fuse(融合)、Tile(平铺)、Vector(向量化)、展开(Unrolling)、并行(Parallelizing)等，以 Halide 思想为指导的 AI 调度变换的方式Halide 调度变换在调度中可以使用许多优化手段，这些方式可以通过变换调度树来体现。
61210编辑于 2024-11-29 - 来自专栏用户9715713的专栏
React源码解读之任务调度5
完成这些准备工作之后，正式进入调度工作，调度过程实现思路是：当与更新或挂载相关api被调用时，就会执行更新的逻辑，更新大致分为以下几个小阶段图片scheduleWork该步骤的主要工作有以下几点通过 scheduleWorkOnParentPath flushSyncCallbackQueue();}首先需要确保一点，Root是否已经处理过调度相关工作，通过 ensureRootIsScheduled 方法为root创建调度任务，且一个root只有一个 task，假如某个root已经存在了任务，换言之已经调度过，那么我们需要重新为这个task计算一些值。 commitRoot轮回中完成以上调度过程，也该到了提交更新的时候了，该方法我们在刚开始就讲到了，那时略过，现在拾起。 至此完成了任务调度的所有工作，当然在后面的过程，事件相关的处理是只字未提，React最新源码对于事件系统做了很大改动，我们放在后面章节详细讲解。
28230编辑于 2023-01-09 - 来自专栏腾讯大讲堂的专栏
AI异常计算点的监控调度
一、背景 互联网产业拥抱AI成为了当下的热潮：无人驾驶、医疗AI和智能推荐从实验室走出，融入到工程实业中；腾讯自主研发的王者荣耀等游戏AI给人们带去了快乐，“绝艺”更是获得了UEC杯冠军；而AI和海量计算力分不开 四、调度 运行中的AI运算，持续的吃cpu时间片，虽然Linux采用了CFS公平调度策略，但存储引擎与AI计算混部竞争，相比于单跑存储引擎，增加了调度和现场恢复等时延消耗。 现网运营中还发现，AI计算火力全开时（如下图），存储引擎偶尔会出现获取cpu时间片不够的情况。综上，弹性平台监控存储引擎的cpi标准差，当偏差超过限定的范围，即为异常计算点，平台执行调整或调度操作。 动态调整 监控到cpi异常，平台优先调低AI计算的quota值，调整采用“乘性减 加性增”策略，将quota值降一半，限制AI容器的cpu时间片分配，若一段时间内，cpi监控未检测到异常，平台加性恢复AI 跨机调度 平台统计的cpi异常调整次数超过N次，或者quota值小于period值，即可用的cpu能力小于一核，平台执行调度替换操作，并冻结被调度母机一段时间，此时间段内不会创建计算容器。
1.8K70发布于 2018-06-08 - 来自专栏腾讯架构师的专栏
AI 异常计算点的监控调度
作者：胡俊彬 一、背景 互联网产业拥抱AI成为了当下的热潮：无人驾驶、医疗AI和智能推荐从实验室走出，融入到工程实业中；腾讯自主研发的王者荣耀等游戏AI给人们带去了快乐，“绝艺”更是获得了UEC杯冠军； 四、调度 运行中的AI运算，持续的吃cpu时间片，虽然Linux采用了CFS公平调度策略，但存储引擎与AI计算混部竞争，相比于单跑存储引擎，增加了调度和现场恢复等时延消耗。 动态调整 监控到cpi异常，平台优先调低AI计算的quota值，调整采用“乘性减 加性增”策略，将quota值降一半，限制AI容器的cpu时间片分配，若一段时间内，cpi监控未检测到异常，平台加性恢复AI 跨机调度 平台统计的cpi异常调整次数超过N次，或者quota值小于period值，即可用的cpu能力小于一核，平台执行调度替换操作，并冻结被调度母机一段时间，此时间段内不会创建计算容器。 下图为某业务调度月图。 五、总结 平台基于cpi构建的模型监控调度异常点，但由于在线业务的业务量、业务模型、网络环境的变化，会使cpi模型可用性降低。
2.2K00发布于 2017-09-20 - 来自专栏大数据学习笔记
Hadoop基础教程-第5章 YARN：资源调度平台（5.5 YARN的调度器）
第5章 YARN：资源调度平台 5.5 YARN的调度器 打个比方，Hadoop相当于一台虚拟计算机（由多台计算机构造的集群），那么HDFS就是这台虚拟计算机的文件系统，管理磁盘资源；而YARN负责管理虚拟计算机的 Yarn支持三种调度方式：FIFO、FAIR和DRF分别是指先来先服务、公平调度和主资源公平调度。 5.5.1 FIFO调度器 FIFO（First in first out）：先按照优先级高低调度，如果优先级相同，则按照提交时间先后顺序调度，如果提交时间相同，则按照（队列或者应用程序）名称大小（字符串比较 5.5.2 Fair调度器 FAIR：按照内存资源使用量比率调度，即按照used_memory/minShare大小调度（核心思想是按照该调度算法决定调度顺序，但还需考虑一些边界情况）； 在Fair调度器中 5.5.3 Capacity调度器 对于Capacity调度器，有一个专门的队列用来运行小任务，但是为小任务专门设置一个队列会预先占用一定的集群资源，这就导致大任务的执行时间会落后于使用FIFO调度器时的时间
55010编辑于 2022-05-06 - 来自专栏不温卜火
Spark内核详解 (5) | Spark的任务调度机制
Spark 的任务调度总体来说分两路进行，一路是 Stage 级的调度，一路是 Task 级的调度，总体调度流程如下图所示： ? 3.1 调度策略 TaskScheduler支持两种调度策略，一种是FIFO，也是默认的调度策略，另一种是FAIR。 TaskSet是整个调度池中对Task进行调度管理的基本单位, 由调度池中的TaskManager来管理. , 则直接交给根调度器来调度 // 因为 FIFO 调度只有一个根调度度池 rootPool.addSchedulable(manager) } 说明: rootPool是根调度池, 它的类型是 FIFO 调度是默认调度算法 spark.scheduler.mode类设置调度算法:FIFO,FAIR 根调度池是在初始化TaskSchedulerImpl的时候创建的.
4.1K10发布于 2020-10-28 - 来自专栏算法修养
pta 习题集5-19 列车厢调度
====== <--移动方向 / 3 ===== \ 2 ====== -->移动方向 大家或许在某些数据结构教材上见到过“列车厢调度问题 今天，我们就来实际操作一下列车厢的调度。对照上方的ASCII字符图，问题描述如下： 有三条平行的列车轨道（1、2、3）以及1-3和2-3两段连接轨道。 对于给定的1号停车顺序，如果经过调度能够实现2号轨道要求的顺序，则给出操作序列；如果不能，就反问用户 Are(你) you(是) kidding(凯丁) me(么)? 输出格式: 如果能够成功调度，给出最短的操作序列，每个操作占一行。所谓“最短”，即如果1->2可以完成的调度，就不要通过1->3和3->2来实现。 如果不能调度，输出 "Are you kidding me?"
92460发布于 2018-04-27 - 来自专栏Python项目实战
“电不是不够，是调度太笨”：聊聊 AI 驱动的能源调度优化，到底在优化什么
“电不是不够，是调度太笨”：聊聊AI驱动的能源调度优化，到底在优化什么先抛一个很现实、也很容易被忽略的事实：今天很多能源问题，本质上不是“缺能源”，而是“不会调度能源”。 二、传统调度的“老毛病”在没有AI之前，大多数调度系统依赖三样东西：规则（if-else）简单预测模型人的经验兜底听起来很稳，但实际上有几个硬伤。 3️⃣人在环路中，效率是上限说句实在话：调度员再牛，也不可能在毫秒级、全局最优上战胜机器。三、AI为什么特别适合做能源调度？我个人觉得，能源调度是AI非常“对口”的一个场景，原因有三点。 六、AI调度和传统调度，最大的差别是什么？我用一句我自己的感受总结：传统调度在“避免犯错”，AI调度在“持续变聪明”。 AI的优势不在于一开始就完美，而在于：它会记住“这次调度带来的后果”它会在长期回报上优化策略它能适应环境变化，而不是等人改规则七、AI调度并不是“全自动”，而是“人机协同”这里我必须泼一盆“理性冷水”。
27810编辑于 2026-01-11 - 来自专栏用户9199536的专栏
C|进程调度|单核CPU调度
CPU调度，决定了CPU执行进程的策略，好的调度policy需要兼顾进程首次被调度的等待时间和进程结束执行的等待时间，因此在算法设计上极其精妙。本章完全Copy自OSTEP，介绍了基础的调度算法。 ，按照剩余时间进行调度（可以看作把job分割） Metric II 首次被调度等待的时间 Round Robin 时间切片，每次切片都轮换所有进程。 按耗时占比可以分为I/O-intensive 和 CPU-intensive 条件五 假设条件5取消，在开始进程前进程时间未知 Multi-Level Feedback Queue（MLFQ） 最小化 程序行为改变 前期主要使用CPU，后期主使用I/O，然而优先级无法逆转 Extra Rules Rule 5： 定期将所有进程全部移动至最高优先级（处理程序行为改变） change Rule 4： 累积执行一定时间限额后降级 ---- 疑惑 首次被调度等待的时间 Round Robin 时间切片，每次都轮换所有进程。
1.6K40发布于 2021-11-22 - 来自专栏刘明的小酒馆
Linux内核调度分析（进程调度）
Linux进程调度 发展历史 Linux从2.5版本开始引入一种名为的调度器，后在2.6版本中将公平的的调度概念引入了调度程序，代替之前的调度器，称为算法（完全公平调度算法）。 相对的nice值引发的问题：两个nice值不同但差值相同的进程，分到的时间片的大小是受到其nice值大小影响的：比如nice值18和19的两个进程分到的时间片是10ms和5ms,nice值为0和1的两个进程分到的却是 举个例子来区分Unix调度和CFS：有两个运行的优先级相同的进程，在Unix中可能是每个各执行5ms，执行期间完全占用处理器，但在“理想情况”下，应该是，能够在10ms内同时运行两个进程，每个占用处理器一半的能力 我们假设一个最小调度周期为20ms，两个进程的nice值差值为5： 两进程的nice值分别为0和5，后者获得的时间片是前者的1/3，因此最终分别获得15ms和5ms 两进程的nice值分别为10和15， 后者获得的时间片是前者的1/3，最终结果也是15ms和5ms 关于上面这个推论，可能有些难以理解，所以我们深入一下，看看在底层nice差值究竟是如何影响到处理区占比的。
16K113发布于 2018-01-23 - 来自专栏韩曙亮的移动开发专栏
【Linux 内核】CFS 调度器 ④ ( 调度子系统组件模块 | 主调度器、周期性调度器 | 调度器类 )
文章目录 一、调度子系统组件模块 二、主调度器、周期性调度器 三、调度器类 一、调度子系统组件模块 ---- 调度器 需要对 被调度的进程 进行 排序 和 调度管理 , 进程管理过程需要 调度器 的 组件模块 , 自动调用 scheduler_tick() 函数 , 完成调度 , 这是根据 进程 运行时间 , 自动触发进程调度 ; 三、调度器类 ---- 主调度器 或 周期性调度器 根据 不同的 " 选择进程 " 选择不同的 调度器类 , 可选的调度类参考 【Linux 内核】调度器 ⑦ ( 调度器类型 | 停机调度类 stop_sched_class | 限期调度类 dl_sched_class | 实时调度类 | 公平调度类 | 空闲调度类 ) 博客 , 在 Linux 内核中 , sched_class 调度器 分为以下 5 种类型 : stop_sched_class : 停机调度类 ; dl_sched_class : 限期调度类 ; rt_sched_class : 实时调度类 ; fair_sched_class : 公平调度类 ; idle_sched_class : 空闲调度类 ; 每个 调度器类
3.6K10编辑于 2023-03-30 - 来自专栏山山仙人的专栏
Kubernetes Pod资源调度之全自动调度和定向调度
NAME READY STATUS RESTARTS AGE nginx-deployment-7bffc778db-j5czg ，这3个Nginx Pod由系统全自动完成调度。 AGE IP NODE NOMINATED NODE READINESS GATES nginx-deployment-7bffc778db-j5czg 定向调度通过NodeSelector标签实现， Master上的Scheduler服务（kube-scheduler进程）负责实现Pod的调度，整个调度过程通过执行一系列复杂的算法，最终为每个Pod都计算出一个最佳的目标节点 亲和性调度机制则极大扩展了Pod的调度能力，主要的增强功能如 下。
1.9K10发布于 2020-04-29 - 来自专栏全栈程序员必看
c语言列车调度,列车调度
火车站的列车调度铁轨的结构如下图所示: 两端分别是一条入口(Entrance)轨道和一条出口(Exit)轨道，它们之间有N条平行的轨道。每趟列车从入口可以选择任意一条轨道进入，最后从出口离开。 在图中有9趟列车，在入口处按照{8，4，2，5，3，9，1，6，7}的顺序排队等待进入(一条轨道可以停放多个火车)。如果要求它们必须按序号递减的顺序从出口离开，则至少需要多少条平行铁轨用于调度？ 输入样例 9 8 4 2 5 3 9 1 6 7 输出样例 4 此题考查的是贪心+二分，核心在于序号小的跟在序号最接近自己且比自己大的列车后面，下面分析来源于参考链接1： 下面是4条用来调度的轨道： 1248 len=1 现在第一条轨道最后的是2，5肯定不能排在2后面，因为5要比2先出去。所以5进入第二条轨道。现在的状态：(只记录排在轨道最后面的列车) 2 5 len=2 轮到3，3可以排在5后面。
91310编辑于 2022-09-19 - 来自专栏Golang语言社区
Go 语言调度（一）: 系统调度
1goroutine 1 [running]: 2 main.example(0xc000042748, 0x2, 0x4, 0x106abae, 0x5, 0xa) 3 stack_trace /example1/example1.go:13 +0x39 <- LOOK HERE 4 main.main() 5 stack_trace/example1 1func main() { 2 example(make([]string, 2, 4), "hello", 10) 3} 4 5func example(slice []string, str 使用调度周期，除以线程总数，就是每个线程应该执行的时间。 比如，如果你定义你的调度周期是 10 毫秒，现在有 2 个线程，那么在一个调度周期内，每个线程可以执行 5 毫秒。 如果你有 5 个线程，那么每个线程可以执行 2 毫秒。但是，如果你有 1000 个线程呢？每个线程执行 10 微妙是没有意义的，因为你大部分时间都花在了上下文切换上。
1.6K50发布于 2019-05-08 - 来自专栏KisFlow-Golang流式计算框架
Golang框架实战-KisFlow流式实时计算框架(5)-Function调度
4.2.3 注册及调度FunctionKisPool提供注册Funciton回调和调度Funciton方法， 如下。 =%s", fnName)panic(errString)}log.Logger().InfoF("Add KisPool FuncName=%s", fnName)}// CallFunction 调度 Flow，依次调度Flow中的Function并且执行Run(ctx context.Context) error// Link 将Flow中的Function按照配置文件中的配置进行连接Link(fConf ，我们就可以在KisFunctionX中的Call()来通过Pool进行调度了，依次修改每个Function的Call()方法。 = nil {panic(err)}// 5.
27510编辑于 2024-04-25 - 来自专栏linux内核源码学习
调度器及CFS调度器
如果调度器支持就绪状态切换到执行状态，同时支持执行状态切换为就绪状态，就称该调度器为抢占式调度器。 / 空闲调度类 这五种调度类优先级从高到低依次为：停机调度类，限期调度类，实时调度类，公平调度类，空闲调度类 停机调度类stop_sched_class： SCHED_RR 2 #define SCHED_BATCH 3 /* SCHED_ISO: reserved but not implemented yet */ #define SCHED_IDLE 5 ：普通进程的调度策略，批量处理，使task选择CFS调度器来调度运行 SCHED_IDLE：普通进程的调度策略，使我们task以最低优先级选择CFS调度器来调度运行 SCHED_DEADLINE：限期进程调度策略 ，使我们task选择Deadline调度器来调度运行 注：stop调度器和DLE-task调度器，仅使用于内核，用户没有办法进行选择 CFS调度器 完全公平调度算法体现在对待每个进程都是公平的
1.5K40编辑于 2022-11-21 - 来自专栏Golang语言社区
Go 语言调度（二）: goroutine 调度器
原文作者：达菲格 来源：简书 介绍 上一篇文章我对操作系统级别的调度进行了讲解，这对理解 Go 语言的调度器是很重要的。这篇文章，我将解释下 Go 语言的调度器是如何工作的。 来测试一下： 1package main 2 3import ( 4 "fmt" 5 "runtime" 6) 7 8func main() { 9 10 // NumCPU 当前版本的 Go 调度器实现并不是抢占式的，而是一个协同调度器。这就意味着调度器需要明确定义用户态事件来指定调度决策。 非抢占式调度器的精彩之处在于，它看上去是抢占式的。 注意: 对于 1.12 版本有一个建议，在 Go 调度器中增加抢占式调度机制，来允许高速循环被抢占。 有 4 种事件会引起 Go 程序触发调度。这不意味着每次事件都会触发调度。 the global runnable queue for a G. 3 // if not found, check the local queue. 4 // if not found, 5
1.1K40发布于 2019-05-08 - 来自专栏韩曙亮的移动开发专栏
【Linux 内核】调度器 ⑦ ( 调度器类型 | 停机调度类 stop_sched_class | 限期调度类 dl_sched_class | 实时调度类 | 公平调度类 | 空闲调度类 )
文章目录 一、调度器类型 二、调度器类型源码定义 三、停机调度类 ( stop_sched_class ) 四、限期调度类 ( dl_sched_class ) 五、实时调度类 ( rt_sched_class ) 六、公平调度类 ( fair_sched_class ) 七、空闲调度类 ( idle_sched_class ) 一、调度器类型 ---- 在 Linux 内核中 , sched_class 调度器 分为以下 5 种类型 : stop_sched_class : 停机调度类 ; dl_sched_class : 限期调度类 ; rt_sched_class : 实时调度类 ; fair_sched_class : 公平调度类 ; idle_sched_class : 空闲调度类 ; 上述每种 " 调度类 " 都有自己的 调度策略 ; 调度类 优先级 由高到低排列为 : 停机调度类 > 限期调度类 > 实时调度类 > 公平调度类 > 空闲调度类 二、调度器类型源码定义 ---- 调度器类型 , 定义在 Linux 内核源码 linux-5.6.18\kernel\sched\sched.h 头文件中的 1792
2K20编辑于 2023-03-30 - 来自专栏音视频咖
新知 | 离线视频处理AOV框架&AI算力池调度
本期我们邀请到了腾讯云音视频技术导师——孙祥学，为大家分享视频处理AOV框架及AI算力池调度。 本期的分享包括四个部分，分别是行业现状整体介绍，AOV框架解析，AI算力池调度设计以及MPS接入说明。 从各大云厂商的用户反馈来看，视频处理对接入用户并不友好，门槛很高。 这部分主要介绍有关AI算力池调度的逻辑，这是针对转码子任务的处理逻辑。 我们在研发过程中发现AI算法的效果越来越显著，但集成落地却变得愈发困难。 MPS中引入的AI算力池调度方案就能够很好地解决刚才提到的六个问题。 简单的说就是通过通用filter+ 算力池代理的方式完成 。 前文提到的这些特性，包括AOV调度、AI算力池调度方案均已打包入MPS2.0中，目前MPS2.0也已经上线。 图中的四个链接分别是国内站接入地址、国际站接入地址、转码体验馆及视频AI体验馆。
1.8K10编辑于 2022-11-18 - 来自专栏Python项目实战
“工厂不再靠喊，靠5G调度！”——5G如何点燃智能制造的引擎
“工厂不再靠喊，靠5G调度！”——5G如何点燃智能制造的引擎一、如果没有5G，工厂还停留在哪？以前我们总调侃：“制造业数字化，说得再好，车间还是靠人喊。” 三个典型应用场景：实时远程控制机器人：延迟<1ms，操作像本地工业设备数据秒级上传云端：秒级告警+AI分析AGV小车智能调度：实时路径规划+自动避障三、一个AGV调度的实际例子（代码演示）以智能工厂中的 工业专网中，指令能做到准实时调度，还可以接入边缘AI，实现路径最优规划。 运维新挑战：5G网络运维不再只是网线插好就行，而是需要熟悉无线网络管理、QoS调度、边缘安全策略配置。 Echo_Wish 建议：学会用开源5G模拟器如Open5GS做测试；学习边缘AI框架如NVIDIA Jetson + KubeEdge；使用Prometheus + Grafana实时监控5G网络和设备状态
41600编辑于 2025-04-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号