- 综合排序
- 最热优先
- 最新优先
- 来自专栏算法和应用
多机调度的几何
作者：Nikhil Bansal,Jatin Batra 摘要：我们考虑以下一般调度问题：在时间0处有m个相同的机器和n个作业都被释放。
58810发布于 2019-07-18 - 来自专栏乐行僧的博客
多机调度问题（贪心）
实现作业调度，使得n个作业的等待时间最短。
65520编辑于 2022-02-25 - 来自专栏腾讯云大数据
Flink资源调度模型
作者：王刚，腾讯CSIG高级工程师 Flink 资源模型 / 调度设计 背景知识 首先，我们来简单回顾一下 Flink 作业的运行时模型，然后再来探讨在这种运行模型下，Flink 的资源模型和调度架构的设计和实现 我们接下来从 Task 运行维度分析，一层层来看 Flink 的资源模型设计。 资源模型 首先，我们介绍 Flink 基本的几个运行时概念。 如果没有 Slot 共享，非密集 subtask(source/map()) 将阻塞和密集型 subtask(window) 一样多的资源。 调度模型 该小结部分内容引自 深入解读Flink资源管理机制 [4] 概览 Flink 的资源调度是一个典型的两层模型。 Flink Cluster 到 Flink Job 资源调度过程 如下图，Cluster 到 Job 的资源调度过程中主要包含两个过程。
1.3K10编辑于 2022-07-04 - 来自专栏thinkphp+vue
Kubernetes 多集群调度方案调研
当多集群的应用场景出现时，我们怎么处理多个集群的调度呢。为什么要有多集群调度？通常来说，一个集群的大小需要预估业务的资源总量。当资源不够时，可以通过增加机器数量来进行集群扩容。 当然，使用多集群调度肯定会增加整体架构的复杂度，集群之间的状态同步也会增加控制面的额外开销。所以，多集群的主要攻克的难点就是跨集群的信息同步和跨集群网络连通方式。 多集群的服务实例调度，需要保证在多集群的资源同步的实时，将 pod 调度不同的集群中不会 pod pending 的情况。 liqo-pods-management在了解多集群调度的细节之前，需要先弄清楚 virtual kubelet 的工作机制。 总结本文介绍了 KubeFed/Liqo 两个开源项目多集群的资源管理和 pod 调度。KubeFed 的资源调度总体上比较静态，需要创建 workload 之前确保各集群有充足资源。
2.3K30编辑于 2022-07-09 - 来自专栏陶士涵的菜地
golang的MPG调度模型
3）如果G1协程阻塞，比如读取文件或者数据库 4）这时就会创建M2主线程（也可能是从已有的线程池中取出M2）并且将等待的三个协程挂到M2下执行，M1主线程下的G1仍然执行文件的读写 5）这样的MPG调度模式
1.9K10发布于 2019-09-10 - 来自专栏陶士涵的菜地
golang的GMP调度模型
GMP是三个缩写 G : groutine M : Machine 系统线程 P : Processor 处理器 GMP调度就是循环在与P(处理器)绑定的M(系统线程)上寻找可执行的G(协程) ?
1.4K20发布于 2021-04-09 - 来自专栏cwl_Java
快速学习-ElasticJob调度模型
调度模型 与大部分的作业平台不同，ElasticJob 的调度模型划分为支持线程级别调度的进程内调度 ElasticJob-Lite，和进程级别调度的 ElasticJob-Cloud。 进程内调度 ElasticJob-Lite 是面向进程内的线程级调度框架。通过它，作业能够透明化的与业务应用系统相结合。 进程级调度 ElasticJob-Cloud 拥有进程内调度和进程级别调度两种方式。 常驻任务类似于 ElasticJob-Lite，是进程内调度；瞬时任务则完全不同，它充分的利用了资源分配的削峰填谷能力，是进程级的调度，每次任务的会启动全新的进程处理。
36440发布于 2020-09-22 深度解析：多AI模型协同调度机制的研发效能提升分析
关键词： 深度解析：多AI模型协同调度机制的研发效能提升分析 引言：AI时代的"交响乐团" 想象一下，如果把AI模型比作乐器，那么传统的单模型应用就像是独奏表演——虽然精彩，但总觉得少了点什么。 而多AI模型协同调度，就像是指挥一支交响乐团，让不同的"乐器"在合适的时机发出最美妙的声音。 在当今AI技术飞速发展的时代，单一模型已经无法满足复杂业务场景的需求。 这就是我们今天要探讨的核心话题——多AI模型协同调度机制。它不仅能够提升系统的整体性能，更能在研发效能上带来质的飞跃。 多AI模型协同调度核心概念 什么是多AI模型协同调度？ 简单来说，多AI模型协同调度就是让不同的AI模型在统一的框架下协同工作，根据任务特点和资源状况，智能地选择最合适的模型组合来完成任务。 核心要素解析 1. 对于技术服务商: 提供标准化的调度框架 支持多云、混合云部署 建设生态合作伙伴网络 结语 多AI模型协同调度不仅仅是一项技术创新，更是AI应用走向成熟的重要标志。
1.3K20编辑于 2025-07-17水利调度“智慧脑”：融合多源感知数据与洪涝预报模型的实时决策平台
这不仅是技术的升级，更是调度范式的根本转变。本文将聚焦三个高价值核心场景，深入剖析如何通过融合多源感知数据与智能预报模型，构建一个能真正实现实时、精准、可解释辅助决策的"水利调度智慧脑"。 在某中型流域的模拟测试中，该平台在同样满足防洪安全的前提下，相较于传统经验调度方案，能使流域内水库群在汛末平均多蓄水5%-8%，有效增加了抗旱水资源储备，同时通过优化泄流过程，降低了下游河道的冲刷风险。 智慧脑"解决方案：耦合预报模型的动态自适应调度武汉知识图谱科技构建了"水质水量一体化预测-优化"模型，支撑预见性调度。 技术架构核心：支撑三大场景的"智慧脑"引擎上述三大高价值场景的实现，依赖于平台底层统一的强大引擎，即"智慧脑"的核心构成：1.多源异构数据融合中心：具备强大的数据接入、治理和实时处理能力，能够统一纳管物联网监测数据 通过在城市内涝应急、流域防洪调度、水生态管理等核心场景的深度融合应用，这个融合了多源感知数据与智能预报模型的实时决策平台，正在证明其价值：它让水利调度从依赖个人经验的"艺术"，转变为融合集体知识与先进算法的
20310编辑于 2026-03-03- 来自专栏sunsky
深入Golang调度器之GMP模型
}() } Go调度器组成 Go语言虽然使用一个Go关键字即可实现并发编程，但Goroutine被调度到后端之后，具体的实现比较复杂。先看看调度器有哪几部分组成。 不同于Python基于进程的并发模型，以及C++、Java等基于线程的并发模型。Golang采用轻量级的goroutine来实现并发，可以大大减少CPU的切换。 P的个数不一定一样多（会有休眠的M或者不需要太多的M）（最大10000）；每一个P保存着本地G任务队列，也有一个全局G任务队列。 总结 相比大多数并行设计模型，Go比较优势的设计就是P上下文这个概念的出现，如果只有G和M的对应关系，那么当G阻塞在IO上的时候，M是没有实际在工作的，这样造成了资源的浪费，没有了P，那么所有G的列表都放在全局 所以说保护现场的抢占式调度和G被阻塞后传递给其他m调用的核心思想，使得goroutine的产生。 本文从宏观角度介绍了一下Go调度器的调度过程。
2.2K31发布于 2020-08-20 【多模态大模型】
多模态大模型的核心能力 多模态大模型通过融合视觉、听觉、文本等多维度数据实现综合理解与生成。典型应用包括： 图像到文本：识别图片内容并生成描述、广告文案或诗歌。 代表模型如GPT-4V（视觉增强版）、通义千问多模态版、文心一言（ERNIE-ViLG）均支持此类任务。 案例分析：基于多模态模型的图像描述生成 场景：电商平台需自动生成商品图片的营销文案。 多模态对齐：模型将图像特征与文本语义空间对齐，生成候选描述。 输出优化：通过强化学习调整生成文本的流畅性与吸引力。 模型训练与优化要点 数据准备：需对齐的多模态数据集（如COCO-Captions、AudioSet）。 API化：通过FastAPI封装模型，提供RESTful接口供业务系统调用。 多模态大模型的应用需结合具体场景调整输入预处理与后处理逻辑，以达到最佳效果。
28210编辑于 2026-01-20Yarn调度器及生产环境如何使用多队列
(1)hadoop调度器分为三类： FIFO、Capacity Scheduler(容量调度器)和Fair Sceduler(公平调度器) Apache默认的资源调度器是容量调度器； CDH默认的资源调度器是公平调度器 ; (2)区别 FIFO调度器:支持单队列,先进先出，生产环境不会用； 容量调度器:支持多队列，保证先进入的任务有限执行； 公平调度器:支持多队列,保证每个任务公平享有队列资源，资源不够时可以按照缺额分配 调度器默认就1个default队列，不能满足生产要求； 按照框架:hive/spark/flink每个框架的任务方队指定的队列(企业用的不是特别多) 按照业务模块:登录注册、购物车、下单、业务部门1 、业务部门2 创建多队列的好处？
11310编辑于 2025-12-23- 来自专栏陈猿解码
多图讲解YARN容量调度中的资源抢占
在前面的文章中讲过容量调度中队列的容量配置、容量调度中的优先级调度。 本文就来聊聊容量调度中的资源抢占。 【队列间的抢占】 ---- 容量调度中的资源抢占，最通用的方式就是在多个队列之间进行资源的抢占，保证每个队列的最小资源（队列的capacity配置）得以满足。 【抢占原理】 ---- 首先，只有使用的调度器实现了PreemptableResourceScheduler接口，并且启用了抢占；rm才会真正使用抢占这个功能。 【总结】 ---- 小结一下，本文讲述了容量调度中的资源抢占，包括队列间的资源抢占和队列内的资源抢占的配置使用，对抢占的原理、相关配置、使用上一些场景的FAQ也简单进行了简要说明。
2.8K30编辑于 2023-02-28 - 来自专栏架构师修炼
LVS介绍与工作模型和调度算法
当其中一部分ECS实例发生故障后，负载均衡会自动屏蔽故障的ECS实例，将请求分发给正常运行的ECS实例，保证应用系统仍能正常工作 同城容灾 （多可用区容灾） 为了提供更加稳定可靠的负载均衡服务，阿里云负载均衡已在各地域部署了多可用区以实现同地域容灾 使用负载均衡时，您可以将负载均衡实例部署在支持多可用区的地域以实现同城容灾。此外，建议您结合自身的应用需要，综合考虑后端服务器的部署。 DR模型通信过程 ? , 修改的是二次的目标MAC地址, 三层以上的信息不会修改, 因此vip监听的端口和rs监听的端口必须一致 7.RS可使用大多数OS系统 3.1.3 LVS的隧道模型 转发方式：不修改请求报文的IP首部 LVS和RS在同一个物理网段, 但是性能不如RS 因为隧道模型要添加ip头部, 而RS只是修改源,目mac, 通讯过程本身就是要修改mac地址的 LVS适合有多机房的大型企业, 用户可以访问固定的部署了
1.4K20发布于 2021-05-17 《Java开发者必知：LangChain4j实现RAG系统多模型调度的深度剖析》
那么，如何在Java中利用LangChain4j实现RAG系统的多模型调度呢？这正是本文将要深入探讨的核心内容。 通过多模型调度，RAG系统能够根据具体的任务和输入，智能地选择最合适的模型进行处理，从而实现性能的最优化。多模型调度还能够提升RAG系统的稳定性和可靠性。 例如，对于OpenAI的模型，可以通过设置相应的API密钥和模型参数，快速完成初始化，为后续的多模型调度做好准备。为了实现灵活高效的多模型调度，构建一个模型注册表是关键的一步。 这些元数据能够帮助开发者更好地了解每个模型的特点，从而在进行多模型调度时做出更明智的决策。 动态模型切换是多模型调度的核心功能，它能够根据具体的任务需求和模型的实时状态，自动地选择最合适的模型进行处理。要实现这一功能，需要在RAG系统中引入一个智能的调度器。
41410编辑于 2025-06-10- 来自专栏Golang语言开发栈
Golang 语言的 goroutine 调度器模型 GPM
Golang 语言的调度器是基于协程调度模型 GMP，即 goroutine（协程）、processor（处理器）、thread（线程），通过三者的相互协作，实现在用户空间管理和调度并发任务。 ? Golang 语言的协程调度 关于内存占用方面，创建一个 Golang 的协程（goroutine）初始栈仅有 2K，并且创建操作只在用户空间简单地分配对象，比在内核态分配线程要简单的多，所以可以创建成千上万的 通常，您不需要那么多细节，因此只需使用： GODEBUG=schedtrace=1000 . 06 总结 本文通过 Golang 语言的 goroutine 调度器模型 GPM、调度器的发展历史、Golang 语言的 goroutine 调度器的设计思想、m0 和 g0 的概念，以及调度器跟踪调试几个方面来介绍 ，关于介绍 Golang 语言调度器模型 GPM 的文章在网上有很多，建议读者多阅读一些相关文章，加深理解。
1.9K10发布于 2021-01-22 - 来自专栏Python与算法之美
使用多GPU训练模型
如果使用多GPU训练模型，推荐使用内置fit方法，较为方便，仅需添加2行代码。 注：以下代码只能在Colab 上才能正确执行。 在Colab笔记本中：修改->笔记本设置->硬件加速器 中选择 GPU 可通过以下colab链接测试效果《tf_多GPU》： https://colab.research.google.com/drive buffer_size = 1000).batch(BATCH_SIZE) \ .prefetch(tf.data.experimental.AUTOTUNE).cache() 二，定义模型 metrics.SparseCategoricalAccuracy(),metrics.SparseTopKCategoricalAccuracy(5)]) return(model) 三，训练模型 ds_train,validation_data = ds_test,epochs = 10) MirroredStrategy过程简介： 训练开始前，该策略在所有 N 个计算设备上均各复制一份完整的模型
2.1K30发布于 2020-07-20 - 来自专栏开源部署
MySQL多主模型实战
MySQL AB解决了数据备份的问题，但是当A由于某些原因宕机后，WEB服务器就没有办法在往数据库写或者读写了。线上业务中断了，完了，出事故了。这该怎么办呢？
46110编辑于 2022-09-15 - 来自专栏CreateAMind
模型权重和多模型推理的基础
将 AIC 用于模型选择，以及将 AIC 权重用于模型平均，对野生动物生物学和生态学领域做出了积极贡献，为模型选择和多模型推断提供了客观基础。 尽管如此，我们质疑多模型推断是否最好通过 AIC 来实现。我们的立场是：贝叶斯方法为多模型推断提供了一个更广阔的框架，在该框架内，可以且应当对基于 AIC 的方法进行评估，并考虑其他替代方案。 本文结构如下：首先，我们概述贝叶斯多模型推断，引入本文后续将使用的符号和基本公式。 因此，与其说贝叶斯多模型推断“要求真实模型包含在模型集合中”，不如说贝叶斯多模型推断的运作方式是“仿佛真实模型就在模型集合中”。 总结与结论 AIC权重在野生动物与生态学应用领域的引入，是多模型推断方面一项重要且积极的发展。
13510编辑于 2026-03-11 - 来自专栏算法之名
多模态大模型篇
LLaMA发展史 InstructGPT(基于提示学习的一系列模型) -> GPT3.5时代(大规模预训练语言模型，参数量超过1750亿) -> ChatGPT模型(高质量数据标注以及反馈学习( 所需资源更小：LLaMA比其他模型更高效，资源密集度更低，因为它使用在更多tokens上训练的较小模型。这意味着它需要更少的计算能力和资源来训练和运行这些模型，也需要更少的内存和带宽来存储和传输它们。 实验结果 由上图我们可以看到，模型的损失和Tokens之间的关系为当Tokens的数量不断增大的时候，模型的损失在不断的降低。该实验体现了在训练大模型时，数据量的重要性。 GLM-130B使用了GLM算法，实现双向密集连接的模型结构，提高了模型的表达能力和泛化能力。 2023.3.14，千亿对话模型ChatGLM开始内测，60亿参数ChatGLM-6B模型开源。 应用 同时开源ChatGLM-6B模型，ChatGLM-6B是一个具有62亿参数的中英双语言模型。
1.5K51编辑于 2023-10-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号