- 综合排序
- 最热优先
- 最新优先
- 来自专栏算法和应用
多机调度的几何
作者：Nikhil Bansal,Jatin Batra 摘要：我们考虑以下一般调度问题：在时间0处有m个相同的机器和n个作业都被释放。
58910发布于 2019-07-18 - 来自专栏乐行僧的博客
多机调度问题（贪心）
实现作业调度，使得n个作业的等待时间最短。 样例输入： 6 3 2 5 13 15 16 20 样例输出： 28 贪心策略：优先处理花费时间长的任务，这样可以减少短任务的等待时间 实现： #include <bits/stdc++.h> using
66120编辑于 2022-02-25 - 来自专栏腾讯云大数据
Flink资源调度模型
作者：王刚，腾讯CSIG高级工程师 Flink 资源模型 / 调度设计 背景知识 首先，我们来简单回顾一下 Flink 作业的运行时模型，然后再来探讨在这种运行模型下，Flink 的资源模型和调度架构的设计和实现 我们接下来从 Task 运行维度分析，一层层来看 Flink 的资源模型设计。 资源模型 首先，我们介绍 Flink 基本的几个运行时概念。 例如，具有 3 个 Slot 的 TaskManager，会将其托管内存 1/3 用于每个 Slot。 如果没有 Slot 共享，非密集 subtask(source/map()) 将阻塞和密集型 subtask(window) 一样多的资源。 调度模型 该小结部分内容引自 深入解读Flink资源管理机制 [4] 概览 Flink 的资源调度是一个典型的两层模型。
1.3K10编辑于 2022-07-04 - 来自专栏thinkphp+vue
Kubernetes 多集群调度方案调研
当多集群的应用场景出现时，我们怎么处理多个集群的调度呢。为什么要有多集群调度？通常来说，一个集群的大小需要预估业务的资源总量。当资源不够时，可以通过增加机器数量来进行集群扩容。 当然，使用多集群调度肯定会增加整体架构的复杂度，集群之间的状态同步也会增加控制面的额外开销。所以，多集群的主要攻克的难点就是跨集群的信息同步和跨集群网络连通方式。 多集群的服务实例调度，需要保证在多集群的资源同步的实时，将 pod 调度不同的集群中不会 pod pending 的情况。 liqo-pods-management在了解多集群调度的细节之前，需要先弄清楚 virtual kubelet 的工作机制。 总结本文介绍了 KubeFed/Liqo 两个开源项目多集群的资源管理和 pod 调度。KubeFed 的资源调度总体上比较静态，需要创建 workload 之前确保各集群有充足资源。
2.3K30编辑于 2022-07-09 - 来自专栏啄木鸟软件测试
多模态大模型技术原理与实战(3)
·深度学习时代（2010-2019年）：多模态技术快速发展，这主要得益于以下3点: o算力快速发展。 o新的多模态数据集层出不穷。 o语言特征提取能力和视觉特征提取能力快速提高。 o解决图像多模态问题有3种传统的思路，分别是使用单编码器模型、双编码器模型、编码器-解码器模型。 ·单编码器模型指的是整个架构中只存在一个图像编码器的模型。 这种编码器-解码器结构有助于融合多模态特征，在多模态理解任务中表现较好，但由于缺乏单独的文本编码器，在图像检索、视频检索等任务中表现不佳 oCoCa 模型创造性地将上述 3 种思路进行有效融合，能够分别独立获得图像特征向量和文本特征向量 大模型+多模态的3种实现方法 1，以LLM 为核心，调用其他多模态组件 2023年5月，微软亚洲研究院(MSRA)联合浙江大学发布了HuggingGPT。 3.视觉问答任务 视觉问答任务指的是根据图像或视频中描述的内容进行回答、体现了多楼态大模型的自然语言理解和推理能力。 这个城市拥有哪些著名大学？ 上海是中国著名的现代化城市，拥有多所知名大学。
1.2K20编辑于 2024-09-10 - 来自专栏陶士涵的菜地
golang的MPG调度模型
MPG模式运行状态1 1）当前程序有三个M,如果三个M都在一个cpu运行，就是并发，如果在不同的cpu运行就是并行 2）M1,M2,M3正在执行一个G,M1的协程队列有三个，M2的协程队列有三个，M3的协程队列有两个 3）从上图可以看到：Go的协程是轻量级的线程，是逻辑态的，Go可以容易的起上万个协程 4）其他程序c/java的多线程，往往是内核态的，比较重量级，几千个线程就有可能耗光cpu资源 MPG模式运行状态 2 1）分成两个部分来看 2）原来的情况是M1主线程正在执行G1协程，另外有三个协程在等待 3）如果G1协程阻塞，比如读取文件或者数据库 4）这时就会创建M2主线程（也可能是从已有的线程池中取出M2）并且将等待的三个协程挂到 M2下执行，M1主线程下的G1仍然执行文件的读写 5）这样的MPG调度模式，既可以让G1执行，也不会让队列的其他协程一直阻塞 ?
1.9K10发布于 2019-09-10 - 来自专栏陶士涵的菜地
golang的GMP调度模型
GMP是三个缩写 G : groutine M : Machine 系统线程 P : Processor 处理器 GMP调度就是循环在与P(处理器)绑定的M(系统线程)上寻找可执行的G(协程) ?
1.4K20发布于 2021-04-09 - 来自专栏一起学Golang
Go调度器系列（3）图解调度原理
如果你已经阅读了前2篇文章：《调度起源》和《宏观看调度器》，你对G、P、M肯定已经不再陌生，我们这篇文章就介绍Go调度器的基本原理，本文总结了12个主要的场景，覆盖了以下内容： G的创建和分配。 场景3：假设每个p的本地队列只能存4个g。g2要创建了6个g，前4个g（g3, g4, g5, g6）已经加入p1的本地队列，p1本地队列满了。 ? 蓝色长方形代表全局队列。 假定我们场景中一共有4个P，所以m2只从能从全局队列取1个g（即g3）移动p2本地队列，然后完成从g0到g3的切换，运行g3。 ? 场景9：p1本地队列g5、g6已经被其他m偷走并运行完成，当前m1和m2分别在运行g2和g8，m3和m4没有goroutine可以运行，m3和m4处于自旋状态，它们不断寻找goroutine。 为什么要让m3和m4自旋，自旋本质是在运行，线程在运行却没有执行g，就变成了浪费CPU？销毁线程不是更好吗？可以节约CPU资源。
96930发布于 2019-04-23 - 来自专栏cwl_Java
快速学习-ElasticJob调度模型
调度模型 与大部分的作业平台不同，ElasticJob 的调度模型划分为支持线程级别调度的进程内调度 ElasticJob-Lite，和进程级别调度的 ElasticJob-Cloud。 进程内调度 ElasticJob-Lite 是面向进程内的线程级调度框架。通过它，作业能够透明化的与业务应用系统相结合。 进程级调度 ElasticJob-Cloud 拥有进程内调度和进程级别调度两种方式。 常驻任务类似于 ElasticJob-Lite，是进程内调度；瞬时任务则完全不同，它充分的利用了资源分配的削峰填谷能力，是进程级的调度，每次任务的会启动全新的进程处理。
36540发布于 2020-09-22 深度解析：多AI模型协同调度机制的研发效能提升分析
而多AI模型协同调度，就像是指挥一支交响乐团，让不同的"乐器"在合适的时机发出最美妙的声音。 在当今AI技术飞速发展的时代，单一模型已经无法满足复杂业务场景的需求。 这就是我们今天要探讨的核心话题——多AI模型协同调度机制。它不仅能够提升系统的整体性能，更能在研发效能上带来质的飞跃。 多AI模型协同调度核心概念 什么是多AI模型协同调度？ 简单来说，多AI模型协同调度就是让不同的AI模型在统一的框架下协同工作，根据任务特点和资源状况，智能地选择最合适的模型组合来完成任务。 核心要素解析 1. 智能调度器 就像交响乐团的指挥，负责协调各个模型的工作 具备任务理解、模型匹配、资源优化等核心能力 2. 模型池管理 维护不同类型、不同版本的AI模型 支持模型的动态加载和卸载 3. 模型容器化 3.
1.3K20编辑于 2025-07-17- 来自专栏巴山学长
MATLAB非线性可视化（引3）多摆模型
接着前面的Mandelbrot集和牛顿迭代继续介绍一个非线性模型：多摆。如果只看到前面的两个引子，肯定会有疑问：非线性只是一种通过迭代产生的数学游戏吗？ 事实上，非线性存在于物理与工程中的各个领域。 这里不涉及到计算多体动力学和SimMechanics，只采用简单的拉格朗日方法建立运动模型。详细可见参考资料[1]。 双摆方程可以用两个摆的角度进行描述，其运动的角速度可以用角动量来描述。 _A+l*sin(th3); CY3_A=CY2_B; CY3_B=CY3_A-l*cos(th3); %绘图 n=1; figure() set(gcf,'position',[488 342 (3))*pth(3)))/M; dth3=(6*(21*cos(th(1)-th(3))*pth(1)-27*cos(th(1)-2*th(2)+th(3))*pth(1)-27*cos(2*th(1 )-th(3))); dpth3=0.5*l*m*(l*dth(1)*dth(3)*sin(th(1)-th(3))+l*dth(2)*dth(3)*sin(th(2)-th(3))-g*sin(th(
89920编辑于 2023-03-15 水利调度“智慧脑”：融合多源感知数据与洪涝预报模型的实时决策平台
这不仅是技术的升级，更是调度范式的根本转变。本文将聚焦三个高价值核心场景，深入剖析如何通过融合多源感知数据与智能预报模型，构建一个能真正实现实时、精准、可解释辅助决策的"水利调度智慧脑"。 随后，训练轻量级机器学习模型（如梯度提升树、图神经网络），使其能在秒级内，根据实时雷达反演与短临预报降雨数据，直接预测未来1-3小时内城区网格化积水深度、范围和演进过程。 3.实施价值将水库群调度从基于有限方案比选的"选择题"，转变为由AI在庞大策略空间中自动寻优的"计算题"。 3.模型算法仓库与AI智能体工厂：以微服务形式封装了从物理模型、机器学习预测模型到多目标优化算法的各类算力。 通过在城市内涝应急、流域防洪调度、水生态管理等核心场景的深度融合应用，这个融合了多源感知数据与智能预报模型的实时决策平台，正在证明其价值：它让水利调度从依赖个人经验的"艺术"，转变为融合集体知识与先进算法的
25310编辑于 2026-03-03Aipy实战：使用Deepseek-V3生成多协议弱口令爆破调度工具
一、传统工具面临的挑战：单协议工具碎片化：不同协议需独立工具操作，工具切换导致测试流程中断；任务管理低效：多任务并行时缺乏统一调度，进度追踪依赖人工记录；结果分析繁琐：爆破结果非结构化呈现，关键信息提取耗时费力 二、工具核心定位Aipy 研发的多协议弱口令爆破调度系统，是一款集成多协议支持、智能任务编排及风险验证功能的图形化渗透测试工具。 三、技术特性解析 多协议集成能力 支持 HTTP、SSH、FTP、SMB 等主流网络协议的弱口令检测，打破传统工具单协议独立运行的限制，实现多协议检测任务的统一管理与执行。 智能任务调度机制 通过动态资源分配算法，自动优化多任务并行执行策略，避免传统工具多任务运行时的资源冲突问题，提升大规模爆破任务的执行效率。 四、过程 提示词：1.开发一款可支持多协议弱口令爆破的GUI工具，要求至少支持http ssh mysql协议相关爆破，可实时显示爆破进度和成功结果，可勾选协议类型，支持上传自定义密码字典文件，可指定用户名或者上传用户名字典文件
24810编辑于 2025-06-12- 来自专栏杨建荣的学习笔记
超3亿活跃用户的多活架构，数据同步与流量调度怎么做？
所以这个业务来说不是整体使用一个CAP模型，在业务内部，因为不同的数据分类，使用了不同的模型，因此业务有时候存在部分降级的情况。 第四，平台业务SDK化。 3、异地多活业务架构——单元化 ? 然后是多消费者支持，订阅模块会保存数据，每个订阅方可以维持自己的消费位点，彼此之间没有干扰，从而减少多订阅方同步对 Source DB的压力。 3、MySQL订阅——数据最终一致 ? 3、单元调度注意事项 ? Q3：老师能介绍一下多活带来什么业务收益吗？是什么契机促使 OPPO开始做异地多活？ A3 ：OPPO业务多活的三个核心诉求是成本、扩展、容灾。
2.8K21发布于 2021-04-22 - 来自专栏sunsky
深入Golang调度器之GMP模型
3. 所有调度相关代码,会先切换到该Goroutine的栈再执行。 // M当前绑定的结构体G // SP、PC寄存器用于现场保护和现场恢复 vdsoSP uintptr vdsoPC uintptr // 省略…} 3、 3、线程清理 Goroutine被调度执行必须保证P/M进行绑定，所以线程清理只需要将P释放就可以实现线程的清理。什么时候P会释放，保证其它G可以被执行。P被释放主要有两种情况。 不同于Python基于进程的并发模型，以及C++、Java等基于线程的并发模型。Golang采用轻量级的goroutine来实现并发，可以大大减少CPU的切换。 P的个数不一定一样多（会有休眠的M或者不需要太多的M）（最大10000）；每一个P保存着本地G任务队列，也有一个全局G任务队列。
2.2K31发布于 2020-08-20 - 来自专栏媒矿工厂
MVDream：利用扩散模型实现多视角的3D生成
通过利用在大规模网络数据集上预训练的图像扩散模型以及从3D资源渲染的多视图数据集，得到的多视图扩散模型既能够实现2D扩散的通用性，又能够实现3D数据的一致性。 结果表明，我们模型的多视图监督比单视图2D扩散模型更加稳定。我们仍然可以生成未见过的3D内容，就像2D扩散模型一样。 从文本到3D生成 我们有了一个能够从文本描述生成一致的多视角图像的扩散模型，我们按照如下两种方法利用它进行3D生成： 使用多视角生成的图像作为输入，通过少样本3D重建方法生成3D内容。 多视角3D生成迁移至Dreambooth 我们将上述得到的模型扩展为用于3D DreamBooth应用的DreamBooth模型。 最后，多视角扩散模型还可以在少样本设置下进行训练，用于个性化的3D生成（多视角DreamBooth）。
4K40编辑于 2023-09-24 - 来自专栏媒矿工厂
低复杂度多模型 CNN 环路滤波 for AVS3
而AVS3作为国内自研的新一代视频编码标准，我们将 CNN 应用于 AVS3 视频编码标准，提出了一个低复杂度多模型 CNN 环路过滤方案。 最后将低复杂度多模型 CNN 环路滤波器嵌入 AVS3 参考软件 HPM7.1 中测试性能表现。 提出的方法 单模型的对比与选择 选择了五个轻量级的模型作为网络单模型的候选。 单模型候选结构 简要介绍五个候选模型结构。受AVS3提案M5129的启发，我们设计了 Single model 1，它由 20 个堆叠的 ResBlock 组成。 网络深度和多模型数量优化 多模型的滤波效果明显好于单模型，说明多模型结构是有效的。 随着视频分辨率的提高，我们提出的多模型 CNN 方案的时间节省不断增加。 结论 本文提出了一种用于 AVS3 的低复杂度多模型 CNN 环路滤波器。
1.4K20编辑于 2022-05-25 【多模态大模型】
多模态大模型的核心能力 多模态大模型通过融合视觉、听觉、文本等多维度数据实现综合理解与生成。典型应用包括： 图像到文本：识别图片内容并生成描述、广告文案或诗歌。 代表模型如GPT-4V（视觉增强版）、通义千问多模态版、文心一言（ERNIE-ViLG）均支持此类任务。 案例分析：基于多模态模型的图像描述生成 场景：电商平台需自动生成商品图片的营销文案。 多模态对齐：模型将图像特征与文本语义空间对齐，生成候选描述。 输出优化：通过强化学习调整生成文本的流畅性与吸引力。 Whisper） import whisper model = whisper.load_model("base") audio_result = model.transcribe("meeting.mp3" API化：通过FastAPI封装模型，提供RESTful接口供业务系统调用。 多模态大模型的应用需结合具体场景调整输入预处理与后处理逻辑，以达到最佳效果。
30510编辑于 2026-01-20Yarn调度器及生产环境如何使用多队列
(1)hadoop调度器分为三类： FIFO、Capacity Scheduler(容量调度器)和Fair Sceduler(公平调度器) Apache默认的资源调度器是容量调度器； CDH默认的资源调度器是公平调度器 ; (2)区别 FIFO调度器:支持单队列,先进先出，生产环境不会用； 容量调度器:支持多队列，保证先进入的任务有限执行； 公平调度器:支持多队列,保证每个任务公平享有队列资源，资源不够时可以按照缺额分配 (3)在生产环境下如何选择？ 大厂：如果对并发度要求比较高，选择公平，要求服务器性能必须OK； 中小公司，集群服务器资源不太充裕选择容量。 (4)在生产环境怎么创建队列？ 调度器默认就1个default队列，不能满足生产要求； 按照框架:hive/spark/flink每个框架的任务方队指定的队列(企业用的不是特别多) 按照业务模块:登录注册、购物车、下单、业务部门1 、业务部门2 创建多队列的好处？
11610编辑于 2025-12-23- 来自专栏陈猿解码
多图讲解YARN容量调度中的资源抢占
在前面的文章中讲过容量调度中队列的容量配置、容量调度中的优先级调度。 本文就来聊聊容量调度中的资源抢占。 【队列间的抢占】 ---- 容量调度中的资源抢占，最通用的方式就是在多个队列之间进行资源的抢占，保证每个队列的最小资源（队列的capacity配置）得以满足。 测试步骤： 使用三个用户向queue_test队列提交3个任务，即每个用户提交一个任务（为了保证每个任务都能分配到资源运行），任务包含两个container，一共申请5GB内存（3个任务共占用15GB 测试情况如下所示： queue_test队列中已经有3个任务，并且都成功分配资源并运行了： 新提交任务到default队列后，am已经分配资源并成功运行，但此时由于集群资源不够，导致任务无法申请到资源 等待一段时间后，观察到新提交的任务从queue_test队列抢占到了3GB的资源，而queue_test队列中其中一个任务运行结束释放了资源。
2.8K30编辑于 2023-02-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号