首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏大数据和云计算技术

    智能调度:Stanford的Quasar

    智能、自动化是对系统孜孜不倦的追求,尤其是在资源调度这块。传统的YARN/MESOS有各种资源分配算法,如DRF,capacity scheduler,fair scheduler。 这些调度算法聚焦在资源的匹配和分配上面。其中最大的问题设计思路是基于预留的思路,要求应用提出资源的需求,而在现实中往往是不现实的。 关于智能资源调度方面,我早前写过一篇文章《智能调度 与 蚁群算法》,提的是设想通过蚁群算法来自动分配资源。 这些有限的采集信息和已有的被分类离线的workload、已经被调度过的workload组合起来。 总的来说,Quasar这个是非常好的一个思路,是调度的未来发展方向,是非常值得研究和跟进的技术,有兴趣的同学,可以把论文下载下来好好读读。

    1.8K50发布于 2018-03-08
  • 来自专栏物流IT圈

    智能调度让物流更高效:聊聊调度系统设计

    导读 在物流运输业务中,调度环节的存在,可以有效地实现运力的合理分配。那么,怎样才能设计出合理的调度系统,以支撑运输业务的正常运转?。 调度即为运输业务中,货物与运力的匹配环节。 随着数据的积累,派车规则的总结完善,越来越多的调度系统力求实现智能调度即自动派车的功能,依托算法或规则配置,优化运力分配。 关于监测数据,检测自动调度系统运行情况的指标,基础的就是自动调度成功率=衡量系统是否能匹配到运力,自动调度接受率=衡量系统是否匹配的准,可以建立漏斗模型进一步分析再哪个环节需要改进,粗略的说,自动调度接受率超过 二、调度支撑模块 调度的背后有几个支撑模块,报价模型、司机评分和客户分级。报价模型衡量调度的可行性,在上述例子中涉及利润的环节均需要报价模型的支撑。 我自己曾经带着二十多个研发,大干两个月搞出来了一个自动调度1.0版,调度成功率仅1%,存在无数诟病,被老板喷、被调度喷、被司机喷…仿佛自动调度是个伪命题,通过不断地迭代调度成功率缓慢提升,过程及其痛苦。

    2.3K20编辑于 2023-09-07
  • 来自专栏刷题笔记

    7-6 列车调度 (25 分)

    本文链接:https://blog.csdn.net/shiliang97/article/details/98481886 7-6 列车调度 (25 分) 火车站的列车调度铁轨的结构如下图所示。 在图中有9趟列车,在入口处按照{8,4,2,5,3,9,1,6,7}的顺序排队等待进入。如果要求它们必须按序号递减的顺序从出口离开,则至少需要多少条平行铁轨用于调度? 输入样例: 9 8 4 2 5 3 9 1 6 7 输出样例: 4 我和这个大佬?遇到的问题一样,超时了。。。。 7-6 列车调度 (25 分) - mumu - CSDN博客 这个问题分析起来挺简单的。我想的是整一个数组,比前面大的小,就把大的换成这个小的,比前面的大就存到下一个。

    1.2K10发布于 2019-11-08
  • 来自专栏大数据和云计算技术

    智能调度 与 蚁群算法

    2、资源分配策略智能学习能力,结合收集反馈的信息,可以动态调整资源分配调度策略,具有自主学习决策的能力。 今天我们说下第2点,调度智能化,调度根据收集到的反馈信息动态调整资源,做到智能需要一定的算法支撑,今天讲讲和调度很契合的蚁群算法。 学术界对蚁群算法和调度的结合研究也比较多,大家可以到搜索引擎中搜索“蚁群算法 调度”可以搜索出很多相关的研究文章。 通过蚁群算法,可以做到以下几点: 1、 可以自动找出最佳调度路径,决定任务调度顺序。 2、 调度参数学习,比如调优系统资源对任务的分配,系统最大并发数学习。 3、 子系统任务自动分配,等等。 对于智能调度这个课题,大家还想到什么算法比较契合吗?

    4.1K70发布于 2018-03-08
  • 来自专栏程序猿的大杂烩

    Java并发编程(7)- 线程调度 - 线程池

    在上边的类图中,最上层就是Executor框架,它是一个根据一组执行策略的调用调度执行和控制异步任务的框架,目的是提供一种将任务提交与任务如何运行分离开的机制。 因为此时线程池与队列容量都是有限的了,所以想让线程池处理任务的吞吐率达到一个合理的范围,又想使我们的线程调度相对简单,并且还尽可能降低线程池对资源的消耗,那么我们就需要合理的设置corePoolSize 但是如果线程池的容量设置的过大,提高任务的数量过多的时候,并发量会增加,那么线程之间的调度就是一个需要考虑的问题,这样反而可能会降低处理任务的吞吐量。 接下来用一个例子演示一下如何通过ThreadPoolExecutor来创建线程池,这里使用7个参数的构造函数,示例代码如下: package org.zero.concurrency.demo.example.threadpool 例如当线程池内需要执行的任务很小,小到执行任务的时间和任务调度的时间很接近,这时若使用线程池反而会更慢,因为任务调度和任务管理是需要耗时的。

    1.2K10发布于 2020-09-23
  • 来自专栏算法与数据结构

    PTA 7-2 列车调度(25 分)

    7-2 列车调度(25 分) 火车站的列车调度铁轨的结构如下图所示。 两端分别是一条入口(Entrance)轨道和一条出口(Exit)轨道,它们之间有N条平行的轨道。 在图中有9趟列车,在入口处按照{8,4,2,5,3,9,1,6,7}的顺序排队等待进入。如果要求它们必须按序号递减的顺序从出口离开,则至少需要多少条平行铁轨用于调度? 输入样例: 9 8 4 2 5 3 9 1 6 7 输出样例: 4 #include <iostream> // 类比最长上升子序列做 #include <cstdio> #include <cstring

    2.7K90发布于 2017-12-29
  • 如何实现异构显卡调度 - 数算岛(数据算力智能调度平台)

    数算岛SSD(数据算力智能调度平台) 是一款面向AI任务设计的集群管理与资源调度平台,专注于高效管理异构GPU资源。 其异构显卡调度的实现融合了多层架构设计与智能化策略,以下从原理和技术实现角度深入解析: 一、分层调度架构:Kubernetes + Hadoop YARN 数算岛SSD采用微服务架构,将系统分为静态服务与动态任务两大部分 二、异构调度的核心机制 1. 拓扑感知调度(Topology-aware Scheduling) 原理:数算岛SSD支持硬件拓扑级优化。 智能调度算法 多目标优化:调度器同时考虑资源利用率、任务延迟、能耗成本等指标。例如,在满足截止时间的前提下,优先将任务分配至低功耗节点。 总结 数算岛SSD的异构显卡调度能力源于“三层解耦”设计: 硬件层:抽象异构算力,实现“一卡多用”; 调度层:拓扑感知+动态优先级,最大化资源利用率; 应用层:容器化+智能策略,降低开发者负担。

    16510编辑于 2026-06-17
  • 来自专栏数据魔术师

    产品|智能仓储AGV调度仿真优化平台

    针对此问题,数据魔术师团队耗费将近一年的时间,开发了这款智能仓储AGV调度优化仿真平台,其可以对输入的仓库布局、AGV 数量与速度,结合实际生产的订单产生情况及调度策略,进行仓储管理系统运行过程的可视化仿真模拟 协助研究人员测试算法 同时,平台也解决了智能调度算法领域研究人员的测试痛点,为其开发、检验算法效率提供了可能。 现有功能 目前阶段,团队研发的 AGV 调度仿真平台已经能够实现以下基本功能: 01 模型建立阶段 可自定义的仓库布局 平台提供了可自定义的仓库布局,目前已经能够满足货架数量在上千量级仓库 AGV 调度的模拟 03 策略优化 可供选择和比较的优化策略 针对关键、复杂的 AGV 路径优化问题,平台采取了智能搜索技术、元启发式算法、动态优化算法、群体智能算法等对 AGV 派送策略进行组合优化。 仓库布局智能优化:运用多种启发式搜索算法、深度强化学习方法,以及大数据分析技术进行仓库布局优化、调度策略优化、放货分区优化,尽可能实现仓库货架、出入口、 AGV 位置的有效优化,有效增加 WMS 系统工作性能

    3.2K33发布于 2020-05-20
  • 来自专栏∑小熊猫的博客

    Java 多线程系列(7) —— 线程的延时调度

    线程的延时调度 实现线程的延时调度需要两个对象,一个是负责对任务进行调度调度对象 Timer,另一个是继承了 TimerTask 对象的自定义的延时调度对象 简单代码示例 延时调度任务对象 该对象是需要被延时调度的任务 extends TimerTask{ @Override public void run() { System.out.println("执行任务" + new Date()); } } 调度任务 调度函数 Timer 定时任务的调度函数有以下六个 schedule(TimerTask task, long delay) schedule(TimerTask task, Date time) schedule time 指的是指定时调度任务的时间,如果时间为之前的时间的话,则会立即执行调度任务。period 是循环执行的间隔时间。 假如是设定调度时间是timer开启调度的前10s进行调度调度执行的周期为 2S,在执行10S 后取消调度

    1.6K10发布于 2021-01-20
  • 骑手配送系统中的智能调度逻辑解析

    那么,骑手配送系统中的智能调度究竟是如何运作的?本文将从调度逻辑、核心策略以及系统设计思路等方面进行解析。 说明:本文中的代码仅用于展示调度系统设计思路和业务模型结构,不涉及真实调度算法、地图服务或生产环境逻辑,不能直接用于实际项目部署。什么是智能调度系统智能调度系统本质上是一个自动分配订单的决策中心。 整个过程通常包括:订单产生↓分析订单信息↓筛选可用骑手↓匹配配送规则↓分配订单↓骑手执行配送相比人工派单,智能调度能够在更短时间内完成决策。智能调度需要考虑哪些因素实际业务中,系统不会随机分配订单。 >这些数据能够帮助平台持续优化调度策略。智能调度未来的发展方向随着人工智能技术的发展,智能调度能力也在不断升级。 随着行业持续发展,智能调度也将逐步向更加智能化、自动化方向演进,成为现代配送平台不可或缺的重要组成部分。

    16610编辑于 2026-06-10
  • 来自专栏数据魔术师

    基于Anylogic的AGV智能调度仿真平台

    仓库内智能设备调度优化一直以来是数据魔术师关注和研究的方向之一。 有了它们的帮助 出入库货物的搬运 将变得更加方便高效 我们就能更快收到自己的快递啦 我们对AGV调度过程建模 并使用Anylogic进行仿真 就能模拟小车运行的真实环境 可以快速调整模型结构 非常方便地修改各项参数 二、智能体设置 定义智能体的变量和交互方式 本模型主要包含AGV小车、货物、主界面对象三个部分。 三、仿真结果 AGV调度仿真输出图表 通过调节订单到达率:poisson(6000)~poisson(10000), 统计总配送包裹数、分拣人员利用率、AGV利用率、平均配送时间、包裹在系统外的平均等待时间

    7.2K50发布于 2020-06-09
  • 来自专栏安富莱嵌入式技术分享

    【STM32H7】第14章 ThreadX调度锁,任务锁和中断锁(调度阀值)

    mod=viewthread&tid=99514 第14章 ThreadX调度锁,任务锁和中断锁(调度阀值) 本章教程为大家讲解调度锁,任务锁和中断锁的概念,以及ThreadX调度锁的使用。 14.4 调度调度锁就是RTOS提供的调度器开关函数,如果某个任务调用了调度锁开关函数,处于调度锁开和调度锁关之间的代码在执行期间是不会被高优先级的任务抢占的,即任务调度被禁止。 这一点要跟临界段的作用区分开,调度锁只是禁止了任务调度,并没有关闭任何中断,中断还是正常执行的。而临界段进行了开关中断操作。 与任务锁一样,也可以采用调度阀值实现。 14.6 实验例程 配套例子: V7-3009_ThreadX Preemption Threshold 实验目的: 学习ThreadX抢占阀值。 COM 0 1020 191 191 System Timer Thread 串口软件可以使用SecureCRT或者H7-

    1.3K20发布于 2021-06-24
  • 来自专栏刷题笔记

    【2020HBU天梯赛训练】7-40 列车调度

    7-40 列车调度 火车站的列车调度铁轨的结构如下图所示。 ? 两端分别是一条入口(Entrance)轨道和一条出口(Exit)轨道,它们之间有N条平行的轨道。 在图中有9趟列车,在入口处按照{8,4,2,5,3,9,1,6,7}的顺序排队等待进入。如果要求它们必须按序号递减的顺序从出口离开,则至少需要多少条平行铁轨用于调度? 输入样例: 9 8 4 2 5 3 9 1 6 7 输出样例: 4 set奇解 set自动排序 直接定位 #include <bits/stdc++.h> using namespace std; int

    59610发布于 2020-06-23
  • 来自专栏小泽的专栏

    【DNS 解析】DNS+IGTM实现流量的智能调度

    操作场景 智能全局流量管理(Intelligence Global Traffic Manager),简称IGTM,它可以帮助用户实现应用(例如:网页应用、直播、点播)的网络健康检查,并根据检测结果实现故障隔离和流量调度切换 也可根据用户地理位置或延迟实现流量的智能调度,从而实现各区域用户的就近接入。本文以通过DNS(IGTM)实现边缘节点智能调度为例进行演示。 适用场景 需根据用户地理位置将流量调度到适合的边缘节点,并实现故障节点的自动剔除&将流量分摊至不同的负载均衡节点,提升用户的访问体验的客户。 "按延时返回"受监控节点分布所限,在地域资源调度方面可能会不如"按地理位置返回"精准,请大家谨慎使用。 3. "按延时返回"和"按地理位置返回"不可同时启用。 其他限制:更多限制说明请查看智能流量管理限制说明。

    10.5K100编辑于 2022-05-24
  • 来自专栏音视频咖

    技术解码 | IM全球智能通信之接入调度服务

    腾讯云通信IM通过增加中继节点、智能路由、QUIC协议加速、专线传输、多IDC服务就近寻址发现等加速机制保证IM在全球的体验上真正实现连得上、连得快、连得稳的目标。 下图可以看出,相比随机出口,回调智能出口寻址在提升回调成功率和降低延时有明显优化效果。 腾讯云IM接入层在单机接入和处理能力方面进行了持续的性能优化。 系统参数调优 1)增大somaxconn值 2)增大监听backlog 3)打开tcp_syncookies 4)关闭timestamp 5)增大route cache条目 6)减少initial RTO值 77)struct中各字段按字节对齐原理排序,防止空洞。 8)减少字符串直接比较,可以改为先比较前4字节或8字节,符合条件后再进行完整比较。 结合自动化聚合分析、整体数据分析,提供智能监控运营能力。同时联动邮件、短信、电话、微信、企业微信等通道,分风险级别传达告警通知。

    2.1K10发布于 2021-06-15
  • 来自专栏腾讯云原生团队

    业务有诉求,资源会响应:TKE 智能调度实践​

    PlacementPolicy是TKE提供的一种智能调度策略,旨在弥合业务需求与资源分配之间的鸿沟,促进研发与运维团队高效协作。 智能调度策略驱动三步曲 构建调度策略体系 有效的资源策略需要建立在对资源特性和业务需求的全面理解上。运维团队首先应进行云资源特征分析,系统评估企业云资源池的运行状况。 智能调度演进蓝图 PlacementPolicy代表了Kubernetes资源管理的范式革新,通过连接业务语义与调度机制,使企业能够将策略意图直接转化为资源分配行为。 未来,资源调度将向智能化方向深度演进:基于机器学习的自动化策略推荐将助力企业在成本与可用性间寻找最优平衡点;预测性调度则将根据业务流量模式提前精准调配资源,实现“资源走在需求前”。 这些智能化能力将构筑更高效、更自主的云资源治理体系。

    53320编辑于 2025-07-12
  • 机器学习中学习率调度智能优化方法

    传统学习率调度方法(如分段衰减)依赖人工经验,难以适应复杂模型的训练需求。 研究分为三个阶段展开:理论分析:在非负矩阵分解(NMF)任务中,通过强化学习框架推导出保证收敛的学习率上界,并开发可学习的调度器。实验证明该方法优于人工设计的调度策略。 神经网络扩展:将方法扩展到深度神经网络(DNN),在计算机视觉和自然语言处理任务中验证了数据驱动调度的有效性,即使缺乏理论保证也能提升训练效率。 算法提炼:提出轻量级调度器GreedyLR,其核心机制包括:根据验证损失动态调整学习率平滑窗口减少噪声干扰耐心参数防止过度反应可配置的边界限制实验表明,GreedyLR在90%以上的案例中优于传统方法( GreedyLR因其易用性和稳定增益,有望成为通用的学习率调度方案。

    27500编辑于 2025-08-16
  • 来自专栏腾讯云数据库(TencentDB)

    探索TDStore:数据智能调度及相关性能优化实践

    分布式数据库 TDStore 的集中分布式一体化能力主要依赖数据智能调度技术。 数据智能调度技术不仅实现了集中分布式一体化能力,更在分布式场景下创新性地引入数据亲和性优化机制,通过预定义规则与定制化策略结合,将具有强业务耦合的数据单元智能调度至同一物理节点,从根本上规避跨节点RPC 本文将分享腾讯云数据库 TDSQL 系列的最新产品:分布式数据库 TDStore 的数据智能调度及相关性能优化实践。 五、TDStore 数据智能调度 TDStore 通过多级规则体系实现数据亲和性调度。 同时当业务规模增长到达到分布式架构的触发阈值时,依托多级规则体系的数据智能调度能力,显著提升了业务的接入效率和实际性能。架构平滑演进与智能动态调度相结合,为数字化转型提供了稳健且智能化的演进路径。

    48410编辑于 2025-03-14
  • 智能缓冲调度:文件IO异步处理的底层实战指南》

    异步缓冲优化算法的底层逻辑,核心在于构建“请求解析-缓冲调度-存储适配”的三角联动机制,而非孤立优化单个环节的性能表现。 异步机制的真正价值并非单纯的非阻塞执行,而是通过对请求队列的智能排序与优先级调度,为缓冲策略争取宝贵的预判与调整时间窗口。 、缓冲处理、磁盘写入的并行执行,这种并行调度能让吞吐量提升25%-40%,尤其在多进程并发读写场景中效果显著。 异步缓冲优化算法的落地价值不仅在于提升单一文件I/O的性能,更在于为复杂系统的底层效能重构提供了可复用的核心逻辑,其探索方向正朝着更智能、更贴合业务本质的方向延伸。 I/O请求获得更高的调度权重,确保关键操作的响应速度。

    19710编辑于 2026-01-21
  • 来自专栏用户9199536的专栏

    C|进程调度|单核CPU调度

    CPU调度,决定了CPU执行进程的策略,好的调度policy需要兼顾进程首次被调度的等待时间和进程结束执行的等待时间,因此在算法设计上极其精妙。本章完全Copy自OSTEP,介绍了基础的调度算法。 执行后必须执行到底,无法优化 条件三 假设条件3取消,可以进行Process Switch Shortest Time-to-Completion First (STCF) 每次新job进入,重新进行调度 ,按照剩余时间进行调度(可以看作把job分割) Metric II 首次被调度等待的时间 Round Robin 时间切片,每次切片都轮换所有进程。 ---- 疑惑 首次被调度等待的时间 Round Robin 时间切片,每次都轮换所有进程。

    1.7K40发布于 2021-11-22
领券