首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏大数据和云计算技术

    智能调度:Stanford的Quasar

    智能、自动化是对系统孜孜不倦的追求,尤其是在资源调度这块。传统的YARN/MESOS有各种资源分配算法,如DRF,capacity scheduler,fair scheduler。 这些调度算法聚焦在资源的匹配和分配上面。其中最大的问题设计思路是基于预留的思路,要求应用提出资源的需求,而在现实中往往是不现实的。 关于智能资源调度方面,我早前写过一篇文章《智能调度 与 蚁群算法》,提的是设想通过蚁群算法来自动分配资源。 这些有限的采集信息和已有的被分类离线的workload、已经被调度过的workload组合起来。 总的来说,Quasar这个是非常好的一个思路,是调度的未来发展方向,是非常值得研究和跟进的技术,有兴趣的同学,可以把论文下载下来好好读读。

    1.8K50发布于 2018-03-08
  • 来自专栏物流IT圈

    智能调度让物流更高效:聊聊调度系统设计

    导读 在物流运输业务中,调度环节的存在,可以有效地实现运力的合理分配。那么,怎样才能设计出合理的调度系统,以支撑运输业务的正常运转?。 调度即为运输业务中,货物与运力的匹配环节。 随着数据的积累,派车规则的总结完善,越来越多的调度系统力求实现智能调度即自动派车的功能,依托算法或规则配置,优化运力分配。 关于监测数据,检测自动调度系统运行情况的指标,基础的就是自动调度成功率=衡量系统是否能匹配到运力,自动调度接受率=衡量系统是否匹配的准,可以建立漏斗模型进一步分析再哪个环节需要改进,粗略的说,自动调度接受率超过 二、调度支撑模块 调度的背后有几个支撑模块,报价模型、司机评分和客户分级。报价模型衡量调度的可行性,在上述例子中涉及利润的环节均需要报价模型的支撑。 我自己曾经带着二十多个研发,大干两个月搞出来了一个自动调度1.0版,调度成功率仅1%,存在无数诟病,被老板喷、被调度喷、被司机喷…仿佛自动调度是个伪命题,通过不断地迭代调度成功率缓慢提升,过程及其痛苦。

    2.3K20编辑于 2023-09-07
  • 来自专栏大数据和云计算技术

    智能调度 与 蚁群算法

    2、资源分配策略智能学习能力,结合收集反馈的信息,可以动态调整资源分配调度策略,具有自主学习决策的能力。 今天我们说下第2点,调度智能化,调度根据收集到的反馈信息动态调整资源,做到智能需要一定的算法支撑,今天讲讲和调度很契合的蚁群算法。 学术界对蚁群算法和调度的结合研究也比较多,大家可以到搜索引擎中搜索“蚁群算法 调度”可以搜索出很多相关的研究文章。 通过蚁群算法,可以做到以下几点: 1、 可以自动找出最佳调度路径,决定任务调度顺序。 2、 调度参数学习,比如调优系统资源对任务的分配,系统最大并发数学习。 3、 子系统任务自动分配,等等。 对于智能调度这个课题,大家还想到什么算法比较契合吗?

    4.1K70发布于 2018-03-08
  • 来自专栏AI机器学习与深度学习算法

    学习分类 2-2 内积

    对于分类问题,我们不再像回归问题那样,找出直线的斜率和截距。为了方便理解,将拥有一个特征的回归问题所绘制的图示和拥有两个特征的分类问题绘制的图示进行对比。

    60010编辑于 2022-11-08
  • 来自专栏IT技术圈

    习题2-2 阶梯电价 (15分)

    为了提倡居民节约用电,某省电力公司执行“阶梯电价”,安装一户一表的居民用户电价分为两个“阶梯”:月用电量50千瓦时(含50千瓦时)以内的,电价为0.53元/千瓦时;超过50千瓦时的,超出部分的用电量,电价上调0.05元/千瓦时。请编写程序计算电费。

    3.3K10发布于 2021-04-01
  • 来自专栏Hank’s Blog

    2-2 R语言基础 向量

    > x <- vector("character",length=10) > x1 <- 1:4 > x2 <- c(1,2,3,4) > x3 <- c(TRUE,10,"a") #如果给向量赋值时元素类型不一致,R就会强制转换,将他们变为同一类型 > x4 <- c("a","b","c","d")

    79110发布于 2020-09-16
  • 来自专栏波波烤鸭

    2-2 SPU和SKU详解及MyBatisPlus自动生成

    2-2 SPU和SKU详解   商城系统中的商品信息肯定避免不了SPU和SKU这两个概念,本节就给大家详细介绍下这块的内容 1、掌握SKU和SPU关系 SPU = Standard Product Unit

    3.2K41发布于 2021-01-21
  • 如何实现异构显卡调度 - 数算岛(数据算力智能调度平台)

    数算岛SSD(数据算力智能调度平台) 是一款面向AI任务设计的集群管理与资源调度平台,专注于高效管理异构GPU资源。 其异构显卡调度的实现融合了多层架构设计与智能化策略,以下从原理和技术实现角度深入解析: 一、分层调度架构:Kubernetes + Hadoop YARN 数算岛SSD采用微服务架构,将系统分为静态服务与动态任务两大部分 二、异构调度的核心机制 1. 拓扑感知调度(Topology-aware Scheduling) 原理:数算岛SSD支持硬件拓扑级优化。 智能调度算法 多目标优化:调度器同时考虑资源利用率、任务延迟、能耗成本等指标。例如,在满足截止时间的前提下,优先将任务分配至低功耗节点。 总结 数算岛SSD的异构显卡调度能力源于“三层解耦”设计: 硬件层:抽象异构算力,实现“一卡多用”; 调度层:拓扑感知+动态优先级,最大化资源利用率; 应用层:容器化+智能策略,降低开发者负担。

    16510编辑于 2026-06-17
  • 来自专栏数据魔术师

    产品|智能仓储AGV调度仿真优化平台

    针对此问题,数据魔术师团队耗费将近一年的时间,开发了这款智能仓储AGV调度优化仿真平台,其可以对输入的仓库布局、AGV 数量与速度,结合实际生产的订单产生情况及调度策略,进行仓储管理系统运行过程的可视化仿真模拟 协助研究人员测试算法 同时,平台也解决了智能调度算法领域研究人员的测试痛点,为其开发、检验算法效率提供了可能。 现有功能 目前阶段,团队研发的 AGV 调度仿真平台已经能够实现以下基本功能: 01 模型建立阶段 可自定义的仓库布局 平台提供了可自定义的仓库布局,目前已经能够满足货架数量在上千量级仓库 AGV 调度的模拟 03 策略优化 可供选择和比较的优化策略 针对关键、复杂的 AGV 路径优化问题,平台采取了智能搜索技术、元启发式算法、动态优化算法、群体智能算法等对 AGV 派送策略进行组合优化。 仓库布局智能优化:运用多种启发式搜索算法、深度强化学习方法,以及大数据分析技术进行仓库布局优化、调度策略优化、放货分区优化,尽可能实现仓库货架、出入口、 AGV 位置的有效优化,有效增加 WMS 系统工作性能

    3.2K33发布于 2020-05-20
  • 来自专栏刷题笔记

    2-2 学生成绩链表处理 (20 分)

    本文链接:https://blog.csdn.net/shiliang97/article/details/101169860 2-2 学生成绩链表处理 (20 分) 本题要求实现两个函数,一个将输入的学生成绩组织成单向链表

    1.6K20发布于 2019-11-08
  • 来自专栏mysql

    hhdb数据库介绍(2-2)

    HHDB Server在计算节点、数据节点、配置库等层次提供全面的高可用保障。提供完善的心跳检测、故障切换对存储节点同步追平判断、全局自增序列在故障时自动跳号、客户端连接Hold等机制,保障数据服务的可用性与数据的一致性。

    22710编辑于 2024-11-28
  • 骑手配送系统中的智能调度逻辑解析

    那么,骑手配送系统中的智能调度究竟是如何运作的?本文将从调度逻辑、核心策略以及系统设计思路等方面进行解析。 说明:本文中的代码仅用于展示调度系统设计思路和业务模型结构,不涉及真实调度算法、地图服务或生产环境逻辑,不能直接用于实际项目部署。什么是智能调度系统智能调度系统本质上是一个自动分配订单的决策中心。 整个过程通常包括:订单产生↓分析订单信息↓筛选可用骑手↓匹配配送规则↓分配订单↓骑手执行配送相比人工派单,智能调度能够在更短时间内完成决策。智能调度需要考虑哪些因素实际业务中,系统不会随机分配订单。 >这些数据能够帮助平台持续优化调度策略。智能调度未来的发展方向随着人工智能技术的发展,智能调度能力也在不断升级。 随着行业持续发展,智能调度也将逐步向更加智能化、自动化方向演进,成为现代配送平台不可或缺的重要组成部分。

    16610编辑于 2026-06-10
  • 来自专栏数据魔术师

    基于Anylogic的AGV智能调度仿真平台

    仓库内智能设备调度优化一直以来是数据魔术师关注和研究的方向之一。 有了它们的帮助 出入库货物的搬运 将变得更加方便高效 我们就能更快收到自己的快递啦 我们对AGV调度过程建模 并使用Anylogic进行仿真 就能模拟小车运行的真实环境 可以快速调整模型结构 非常方便地修改各项参数 二、智能体设置 定义智能体的变量和交互方式 本模型主要包含AGV小车、货物、主界面对象三个部分。 三、仿真结果 AGV调度仿真输出图表 通过调节订单到达率:poisson(6000)~poisson(10000), 统计总配送包裹数、分拣人员利用率、AGV利用率、平均配送时间、包裹在系统外的平均等待时间

    7.2K50发布于 2020-06-09
  • 来自专栏python3

    Python自动化开发学习2-2

    open()打开文件。windows系统默认的是gbk编码,如果不指定字符编码,就会使用系统默认的字符编码打开文件。比如这时python就会使用gbk编码去读utf-8文件,运行后会报错或者读到乱码。

    74530发布于 2020-01-10
  • 来自专栏悟道

    2-2 二分&前缀和模板

    二分模板 int mid=0; while(left<right){ mid=(left+right)/2; if(check(mid)<K) r=mid; else l=mid+1; } 前缀和模板 : 前缀呢 无非就是 从left->right的和: ( s[right] - s[left-1]) import java.util.Scanner; public class Main { public static void main(Stri

    38230发布于 2021-03-11
  • 来自专栏育种数据分析之放飞自我

    笔记 | GWAS 操作流程2-2:性别质控

    「原理:」检查性别差异。先验信息,女性的受试者的F值必须小于0.2,男性的受试者的F值必须大于0.8。这个F值是基于X染色体近交(纯合子)估计。不符合这些要求的受试者被PLINK标记为“PROBLEM”。

    1.6K31发布于 2020-05-18
  • 来自专栏小泽的专栏

    【DNS 解析】DNS+IGTM实现流量的智能调度

    操作场景 智能全局流量管理(Intelligence Global Traffic Manager),简称IGTM,它可以帮助用户实现应用(例如:网页应用、直播、点播)的网络健康检查,并根据检测结果实现故障隔离和流量调度切换 也可根据用户地理位置或延迟实现流量的智能调度,从而实现各区域用户的就近接入。本文以通过DNS(IGTM)实现边缘节点智能调度为例进行演示。 适用场景 需根据用户地理位置将流量调度到适合的边缘节点,并实现故障节点的自动剔除&将流量分摊至不同的负载均衡节点,提升用户的访问体验的客户。 "按延时返回"受监控节点分布所限,在地域资源调度方面可能会不如"按地理位置返回"精准,请大家谨慎使用。 3. "按延时返回"和"按地理位置返回"不可同时启用。 其他限制:更多限制说明请查看智能流量管理限制说明。

    10.5K100编辑于 2022-05-24
  • 来自专栏音视频咖

    技术解码 | IM全球智能通信之接入调度服务

    我们采用了ABTest对比方法,保证有约20%用户不使用网络质量评优系统调度调度,其他80%用户使用网络质量评优系统调度。 腾讯云通信IM通过增加中继节点、智能路由、QUIC协议加速、专线传输、多IDC服务就近寻址发现等加速机制保证IM在全球的体验上真正实现连得上、连得快、连得稳的目标。 4、回调智能寻址 腾讯云IM云,通过统一的多地出口Proxy集群回调客户第三方HTTP(S)服务时,由于外部网络环境以及第三方业务的不可预知性,业务机器需要选择Proxy机器作为访问第三方HTTP(S) 下图可以看出,相比随机出口,回调智能出口寻址在提升回调成功率和降低延时有明显优化效果。 腾讯云IM接入层在单机接入和处理能力方面进行了持续的性能优化。 结合自动化聚合分析、整体数据分析,提供智能监控运营能力。同时联动邮件、短信、电话、微信、企业微信等通道,分风险级别传达告警通知。

    2.1K10发布于 2021-06-15
  • 来自专栏腾讯云原生团队

    业务有诉求,资源会响应:TKE 智能调度实践​

    PlacementPolicy是TKE提供的一种智能调度策略,旨在弥合业务需求与资源分配之间的鸿沟,促进研发与运维团队高效协作。 智能调度策略驱动三步曲 构建调度策略体系 有效的资源策略需要建立在对资源特性和业务需求的全面理解上。运维团队首先应进行云资源特征分析,系统评估企业云资源池的运行状况。 智能调度演进蓝图 PlacementPolicy代表了Kubernetes资源管理的范式革新,通过连接业务语义与调度机制,使企业能够将策略意图直接转化为资源分配行为。 未来,资源调度将向智能化方向深度演进:基于机器学习的自动化策略推荐将助力企业在成本与可用性间寻找最优平衡点;预测性调度则将根据业务流量模式提前精准调配资源,实现“资源走在需求前”。 这些智能化能力将构筑更高效、更自主的云资源治理体系。

    53320编辑于 2025-07-12
  • 机器学习中学习率调度智能优化方法

    传统学习率调度方法(如分段衰减)依赖人工经验,难以适应复杂模型的训练需求。 研究分为三个阶段展开:理论分析:在非负矩阵分解(NMF)任务中,通过强化学习框架推导出保证收敛的学习率上界,并开发可学习的调度器。实验证明该方法优于人工设计的调度策略。 神经网络扩展:将方法扩展到深度神经网络(DNN),在计算机视觉和自然语言处理任务中验证了数据驱动调度的有效性,即使缺乏理论保证也能提升训练效率。 算法提炼:提出轻量级调度器GreedyLR,其核心机制包括:根据验证损失动态调整学习率平滑窗口减少噪声干扰耐心参数防止过度反应可配置的边界限制实验表明,GreedyLR在90%以上的案例中优于传统方法( GreedyLR因其易用性和稳定增益,有望成为通用的学习率调度方案。

    27500编辑于 2025-08-16
领券