首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏大数据和云计算技术

    智能调度:Stanford的Quasar

    智能、自动化是对系统孜孜不倦的追求,尤其是在资源调度这块。传统的YARN/MESOS有各种资源分配算法,如DRF,capacity scheduler,fair scheduler。 这些调度算法聚焦在资源的匹配和分配上面。其中最大的问题设计思路是基于预留的思路,要求应用提出资源的需求,而在现实中往往是不现实的。 关于智能资源调度方面,我早前写过一篇文章《智能调度 与 蚁群算法》,提的是设想通过蚁群算法来自动分配资源。 这些有限的采集信息和已有的被分类离线的workload、已经被调度过的workload组合起来。 总的来说,Quasar这个是非常好的一个思路,是调度的未来发展方向,是非常值得研究和跟进的技术,有兴趣的同学,可以把论文下载下来好好读读。

    1.8K50发布于 2018-03-08
  • 来自专栏物流IT圈

    智能调度让物流更高效:聊聊调度系统设计

    导读 在物流运输业务中,调度环节的存在,可以有效地实现运力的合理分配。那么,怎样才能设计出合理的调度系统,以支撑运输业务的正常运转?。 调度即为运输业务中,货物与运力的匹配环节。 随着数据的积累,派车规则的总结完善,越来越多的调度系统力求实现智能调度即自动派车的功能,依托算法或规则配置,优化运力分配。 关于监测数据,检测自动调度系统运行情况的指标,基础的就是自动调度成功率=衡量系统是否能匹配到运力,自动调度接受率=衡量系统是否匹配的准,可以建立漏斗模型进一步分析再哪个环节需要改进,粗略的说,自动调度接受率超过 二、调度支撑模块 调度的背后有几个支撑模块,报价模型、司机评分和客户分级。报价模型衡量调度的可行性,在上述例子中涉及利润的环节均需要报价模型的支撑。 我自己曾经带着二十多个研发,大干两个月搞出来了一个自动调度1.0版,调度成功率仅1%,存在无数诟病,被老板喷、被调度喷、被司机喷…仿佛自动调度是个伪命题,通过不断地迭代调度成功率缓慢提升,过程及其痛苦。

    2.3K20编辑于 2023-09-07
  • 来自专栏大数据和云计算技术

    智能调度 与 蚁群算法

    2、资源分配策略智能学习能力,结合收集反馈的信息,可以动态调整资源分配调度策略,具有自主学习决策的能力。 今天我们说下第2点,调度智能化,调度根据收集到的反馈信息动态调整资源,做到智能需要一定的算法支撑,今天讲讲和调度很契合的蚁群算法。 学术界对蚁群算法和调度的结合研究也比较多,大家可以到搜索引擎中搜索“蚁群算法 调度”可以搜索出很多相关的研究文章。 通过蚁群算法,可以做到以下几点: 1、 可以自动找出最佳调度路径,决定任务调度顺序。 2、 调度参数学习,比如调优系统资源对任务的分配,系统最大并发数学习。 3、 子系统任务自动分配,等等。 对于智能调度这个课题,大家还想到什么算法比较契合吗?

    4K70发布于 2018-03-08
  • 如何实现异构显卡调度 - 数算岛(数据算力智能调度平台)

    数算岛SSD(数据算力智能调度平台) 是一款面向AI任务设计的集群管理与资源调度平台,专注于高效管理异构GPU资源。 其异构显卡调度的实现融合了多层架构设计与智能化策略,以下从原理和技术实现角度深入解析: 一、分层调度架构:Kubernetes + Hadoop YARN 数算岛SSD采用微服务架构,将系统分为静态服务与动态任务两大部分 二、异构调度的核心机制 1. 拓扑感知调度(Topology-aware Scheduling) 原理:数算岛SSD支持硬件拓扑级优化。 智能调度算法 多目标优化:调度器同时考虑资源利用率、任务延迟、能耗成本等指标。例如,在满足截止时间的前提下,优先将任务分配至低功耗节点。 总结 数算岛SSD的异构显卡调度能力源于“三层解耦”设计: 硬件层:抽象异构算力,实现“一卡多用”; 调度层:拓扑感知+动态优先级,最大化资源利用率; 应用层:容器化+智能策略,降低开发者负担。

    12710编辑于 2026-06-17
  • 来自专栏数据魔术师

    产品|智能仓储AGV调度仿真优化平台

    针对此问题,数据魔术师团队耗费将近一年的时间,开发了这款智能仓储AGV调度优化仿真平台,其可以对输入的仓库布局、AGV 数量与速度,结合实际生产的订单产生情况及调度策略,进行仓储管理系统运行过程的可视化仿真模拟 协助研究人员测试算法 同时,平台也解决了智能调度算法领域研究人员的测试痛点,为其开发、检验算法效率提供了可能。 现有功能 目前阶段,团队研发的 AGV 调度仿真平台已经能够实现以下基本功能: 01 模型建立阶段 可自定义的仓库布局 平台提供了可自定义的仓库布局,目前已经能够满足货架数量在上千量级仓库 AGV 调度的模拟 03 策略优化 可供选择和比较的优化策略 针对关键、复杂的 AGV 路径优化问题,平台采取了智能搜索技术、元启发式算法、动态优化算法、群体智能算法等对 AGV 派送策略进行组合优化。 仓库布局智能优化:运用多种启发式搜索算法、深度强化学习方法,以及大数据分析技术进行仓库布局优化、调度策略优化、放货分区优化,尽可能实现仓库货架、出入口、 AGV 位置的有效优化,有效增加 WMS 系统工作性能

    3.1K33发布于 2020-05-20
  • 骑手配送系统中的智能调度逻辑解析

    那么,骑手配送系统中的智能调度究竟是如何运作的?本文将从调度逻辑、核心策略以及系统设计思路等方面进行解析。 说明:本文中的代码仅用于展示调度系统设计思路和业务模型结构,不涉及真实调度算法、地图服务或生产环境逻辑,不能直接用于实际项目部署。什么是智能调度系统智能调度系统本质上是一个自动分配订单的决策中心。 整个过程通常包括:订单产生↓分析订单信息↓筛选可用骑手↓匹配配送规则↓分配订单↓骑手执行配送相比人工派单,智能调度能够在更短时间内完成决策。智能调度需要考虑哪些因素实际业务中,系统不会随机分配订单。 >这些数据能够帮助平台持续优化调度策略。智能调度未来的发展方向随着人工智能技术的发展,智能调度能力也在不断升级。 随着行业持续发展,智能调度也将逐步向更加智能化、自动化方向演进,成为现代配送平台不可或缺的重要组成部分。

    13810编辑于 2026-06-10
  • 来自专栏数据魔术师

    基于Anylogic的AGV智能调度仿真平台

    仓库内智能设备调度优化一直以来是数据魔术师关注和研究的方向之一。 有了它们的帮助 出入库货物的搬运 将变得更加方便高效 我们就能更快收到自己的快递啦 我们对AGV调度过程建模 并使用Anylogic进行仿真 就能模拟小车运行的真实环境 可以快速调整模型结构 非常方便地修改各项参数 二、智能体设置 定义智能体的变量和交互方式 本模型主要包含AGV小车、货物、主界面对象三个部分。 三、仿真结果 AGV调度仿真输出图表 通过调节订单到达率:poisson(6000)~poisson(10000), 统计总配送包裹数、分拣人员利用率、AGV利用率、平均配送时间、包裹在系统外的平均等待时间

    7.2K50发布于 2020-06-09
  • 来自专栏小泽的专栏

    【DNS 解析】DNS+IGTM实现流量的智能调度

    操作场景 智能全局流量管理(Intelligence Global Traffic Manager),简称IGTM,它可以帮助用户实现应用(例如:网页应用、直播、点播)的网络健康检查,并根据检测结果实现故障隔离和流量调度切换 也可根据用户地理位置或延迟实现流量的智能调度,从而实现各区域用户的就近接入。本文以通过DNS(IGTM)实现边缘节点智能调度为例进行演示。 适用场景 需根据用户地理位置将流量调度到适合的边缘节点,并实现故障节点的自动剔除&将流量分摊至不同的负载均衡节点,提升用户的访问体验的客户。 "按延时返回"受监控节点分布所限,在地域资源调度方面可能会不如"按地理位置返回"精准,请大家谨慎使用。 3. "按延时返回"和"按地理位置返回"不可同时启用。 其他限制:更多限制说明请查看智能流量管理限制说明。

    10.5K100编辑于 2022-05-24
  • 来自专栏音视频咖

    技术解码 | IM全球智能通信之接入调度服务

    我们采用了ABTest对比方法,保证有约20%用户不使用网络质量评优系统调度调度,其他80%用户使用网络质量评优系统调度。 腾讯云通信IM通过增加中继节点、智能路由、QUIC协议加速、专线传输、多IDC服务就近寻址发现等加速机制保证IM在全球的体验上真正实现连得上、连得快、连得稳的目标。 4、回调智能寻址 腾讯云IM云,通过统一的多地出口Proxy集群回调客户第三方HTTP(S)服务时,由于外部网络环境以及第三方业务的不可预知性,业务机器需要选择Proxy机器作为访问第三方HTTP(S) 下图可以看出,相比随机出口,回调智能出口寻址在提升回调成功率和降低延时有明显优化效果。 腾讯云IM接入层在单机接入和处理能力方面进行了持续的性能优化。 结合自动化聚合分析、整体数据分析,提供智能监控运营能力。同时联动邮件、短信、电话、微信、企业微信等通道,分风险级别传达告警通知。

    2.1K10发布于 2021-06-15
  • 机器学习中学习率调度智能优化方法

    传统学习率调度方法(如分段衰减)依赖人工经验,难以适应复杂模型的训练需求。 研究分为三个阶段展开:理论分析:在非负矩阵分解(NMF)任务中,通过强化学习框架推导出保证收敛的学习率上界,并开发可学习的调度器。实验证明该方法优于人工设计的调度策略。 神经网络扩展:将方法扩展到深度神经网络(DNN),在计算机视觉和自然语言处理任务中验证了数据驱动调度的有效性,即使缺乏理论保证也能提升训练效率。 算法提炼:提出轻量级调度器GreedyLR,其核心机制包括:根据验证损失动态调整学习率平滑窗口减少噪声干扰耐心参数防止过度反应可配置的边界限制实验表明,GreedyLR在90%以上的案例中优于传统方法( GreedyLR因其易用性和稳定增益,有望成为通用的学习率调度方案。

    26900编辑于 2025-08-16
  • 来自专栏腾讯云原生团队

    业务有诉求,资源会响应:TKE 智能调度实践​

    PlacementPolicy是TKE提供的一种智能调度策略,旨在弥合业务需求与资源分配之间的鸿沟,促进研发与运维团队高效协作。 智能调度策略驱动三步曲 构建调度策略体系 有效的资源策略需要建立在对资源特性和业务需求的全面理解上。运维团队首先应进行云资源特征分析,系统评估企业云资源池的运行状况。 智能调度演进蓝图 PlacementPolicy代表了Kubernetes资源管理的范式革新,通过连接业务语义与调度机制,使企业能够将策略意图直接转化为资源分配行为。 未来,资源调度将向智能化方向深度演进:基于机器学习的自动化策略推荐将助力企业在成本与可用性间寻找最优平衡点;预测性调度则将根据业务流量模式提前精准调配资源,实现“资源走在需求前”。 这些智能化能力将构筑更高效、更自主的云资源治理体系。

    52220编辑于 2025-07-12
  • 来自专栏腾讯云数据库(TencentDB)

    探索TDStore:数据智能调度及相关性能优化实践

    分布式数据库 TDStore 的集中分布式一体化能力主要依赖数据智能调度技术。 数据智能调度技术不仅实现了集中分布式一体化能力,更在分布式场景下创新性地引入数据亲和性优化机制,通过预定义规则与定制化策略结合,将具有强业务耦合的数据单元智能调度至同一物理节点,从根本上规避跨节点RPC 本文将分享腾讯云数据库 TDSQL 系列的最新产品:分布式数据库 TDStore 的数据智能调度及相关性能优化实践。 五、TDStore 数据智能调度 TDStore 通过多级规则体系实现数据亲和性调度。 同时当业务规模增长到达到分布式架构的触发阈值时,依托多级规则体系的数据智能调度能力,显著提升了业务的接入效率和实际性能。架构平滑演进与智能动态调度相结合,为数字化转型提供了稳健且智能化的演进路径。

    47710编辑于 2025-03-14
  • 智能缓冲调度:文件IO异步处理的底层实战指南》

    异步缓冲优化算法的底层逻辑,核心在于构建“请求解析-缓冲调度-存储适配”的三角联动机制,而非孤立优化单个环节的性能表现。 异步机制的真正价值并非单纯的非阻塞执行,而是通过对请求队列的智能排序与优先级调度,为缓冲策略争取宝贵的预判与调整时间窗口。 、缓冲处理、磁盘写入的并行执行,这种并行调度能让吞吐量提升25%-40%,尤其在多进程并发读写场景中效果显著。 异步缓冲优化算法的落地价值不仅在于提升单一文件I/O的性能,更在于为复杂系统的底层效能重构提供了可复用的核心逻辑,其探索方向正朝着更智能、更贴合业务本质的方向延伸。 I/O请求获得更高的调度权重,确保关键操作的响应速度。

    18510编辑于 2026-01-21
  • 来自专栏用户9199536的专栏

    C|进程调度|单核CPU调度

    CPU调度,决定了CPU执行进程的策略,好的调度policy需要兼顾进程首次被调度的等待时间和进程结束执行的等待时间,因此在算法设计上极其精妙。本章完全Copy自OSTEP,介绍了基础的调度算法。 执行后必须执行到底,无法优化 条件三 假设条件3取消,可以进行Process Switch Shortest Time-to-Completion First (STCF) 每次新job进入,重新进行调度 ,按照剩余时间进行调度(可以看作把job分割) Metric II 首次被调度等待的时间 Round Robin 时间切片,每次切片都轮换所有进程。 ---- 疑惑 首次被调度等待的时间 Round Robin 时间切片,每次都轮换所有进程。

    1.7K40发布于 2021-11-22
  • 来自专栏山山仙人的专栏

    Kubernetes Pod资源调度之全自动调度和定向调度

    2、全自动调度 全自动调度的控制器是Deployment或RC,Deployment或RC的主要功能之一就是自动部署一个容器应用的 份副本,以及持续监控副本的数量,在集群内始终维持用户指定的副本数量。 ,这3个Nginx Pod由系统全自动完成调度。 定向调度通过NodeSelector标签实现, Master上的Scheduler服务(kube-scheduler进程)负责实现Pod的调度,整个调度过程通过执行一系列复杂的算法,最终为每个Pod都计算出一个最佳的目标节点 NodeSelector来进行指定Node范围的调度。 亲和性调度机制则极大扩展了Pod的调度能力,主要的增强功能如 下。

    2K10发布于 2020-04-29
  • 来自专栏刘明的小酒馆

    Linux内核调度分析(进程调度

    Linux进程调度 发展历史 Linux从2.5版本开始引入一种名为的调度器,后在2.6版本中将公平的的调度概念引入了调度程序,代替之前的调度器,称为算法(完全公平调度算法)。 Linux调度算法 调度器类 Linux的调度器是以模块的方式提供的,这样使得不同类型的进程按照自己的需要来选择不同的调度算法。 上面说讲到的CFS算法就是一个针对普通进程的调度器类,基础的调度器会按照优先级顺序遍历调度类,拥有一个可执行进程的最高优先级的调度器类胜出,由它来选择下一个要执行的进程。 接下来我们考虑调度周期,理论上,调度周期越小,就越接近“完美调度”,但实际上这必然会带来严重的上下文切换消耗。 调度器入口 正如上文所述,每当要发生进程的调度时,是有一个统一的入口,从该入口选择真正需要调用的调度类。

    16.3K113发布于 2018-01-23
  • 来自专栏韩曙亮的移动开发专栏

    【Linux 内核】CFS 调度器 ④ ( 调度子系统组件模块 | 主调度器、周期性调度器 | 调度器类 )

    文章目录 一、调度子系统组件模块 二、主调度器、周期性调度器 三、调度器类 一、调度子系统组件模块 ---- 调度器 需要对 被调度的进程 进行 排序 和 调度管理 , 进程管理过程需要 调度器 的 组件模块 , 以及相关 算法 数据结构 来完成 , 如 : 执行队列 ; 二、主调度器、周期性调度器 ---- CPU 通过 " 上下文切换 " 选择 " 主调度器 " 或 " 周期性调度器 " , " 上下文切换 , 自动调用 scheduler_tick() 函数 , 完成调度 , 这是根据 进程 运行时间 , 自动触发进程调度 ; 三、调度器类 ---- 主调度器 或 周期性调度器 根据 不同的 " 选择进程 " 选择不同的 调度器类 , 可选的调度类参考 【Linux 内核】调度器 ⑦ ( 调度器类型 | 停机调度类 stop_sched_class | 限期调度类 dl_sched_class | 实时调度类 : 限期调度类 ; rt_sched_class : 实时调度类 ; fair_sched_class : 公平调度类 ; idle_sched_class : 空闲调度类 ; 每个 调度器类

    3.7K10编辑于 2023-03-30
  • 来自专栏全栈程序员必看

    c语言列车调度,列车调度

    火车站的列车调度铁轨的结构如下图所示: 两端分别是一条入口(Entrance)轨道和一条出口(Exit)轨道,它们之间有N条平行的轨道。每趟列车从入口可以选择任意一条轨道进入,最后从出口离开。 如果要求它们必须按序号递减的顺序从出口离开,则至少需要多少条平行铁轨用于调度? 输入格式 输入第一行给出一个整数N (2 ≤ N ≤10000),下一行给出从1到N的整数序号的一个重排列。 输入样例 9 8 4 2 5 3 9 1 6 7 输出样例 4 此题考查的是贪心+二分,核心在于序号小的跟在序号最接近自己且比自己大的列车后面,下面分析来源于参考链接1: 下面是4条用来调度的轨道: 1248

    1K10编辑于 2022-09-19
  • 来自专栏Golang语言社区

    Go 语言调度(一): 系统调度

    介绍 Go 调度器使你编写的 Go 程序并发性更好,性能更高。这主要是因为 Go 调度器很好的运用了系统调度器的机制原理。 但是,如果你不了解调度器基本的工作原理,那你写的 Go 服务很可能对调度器很不友好,使得 Go 调度器发挥不出它的优势。 尽管在并发编程中你还有很多其他知识点要了解,但在调度器的机制是其中比较基础的一部分。。 操作系统调度 操作系统调度器是软件开发中很复杂的一块。他们必须考虑硬件设施的布局和设计。 使用调度周期,除以线程总数,就是每个线程应该执行的时间。 比如,如果你定义你的调度周期是 10 毫秒,现在有 2 个线程,那么在一个调度周期内,每个线程可以执行 5 毫秒。 要知道这我们只是举了最简单调度场景。实际上调度器在做调度策略时需要考虑很多事情。这是你应该会想到一个常见并发手段,就是线程池的使用。让线程的数量在控制之内。

    1.7K50发布于 2019-05-08
  • 智能调度系统实现高速公路应急响应效率提升43%

    构建统一智能的应急调度云平台 基于腾讯云大数据平台、AI平台、物联网平台及云服务器等基础能力,构建了集智能预警、自动派单、实时调度与多维评估于一体的应急管理系统。 系统通过互联网地图数据、视频自动检测设备及微信公众号一键救援功能实现事件及时发现,通过智能调度和实时语音通话确保指令高效传达。 贵州高速公路集团数据) 平均到达时间从33分钟缩短至27分钟,效率提升18%(贵州高速公路集团数据) 系统覆盖全省高速公路4500余公里,占全省高速公路总里程的52%(贵州高速公路集团数据) "系统通过智能调度和实时语音通话 大幅提升了事故现场的处置效率和规范性,有效提升了高速公路应急指挥和道路救援水平" —— 贵州高速公路集团有限公司 腾讯云提供稳定基础设施与AI能力,伙伴深耕行业场景 腾讯云提供的高可用云计算基础设施与AI分析能力确保了系统稳定运行与智能预警的准确性

    15410编辑于 2026-04-08
领券