首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏AI系统

    AI系统】计算与调度

    组成算子的算法逻辑跟具体的硬件指令代码之间的调度是如何配合?计算与调度计算与调度的来源图像处理在当今物理世界中是十分基础且开销巨大的计算应用。 于 AI 框架而言,所开发的算子是网络模型中涉及到的计算函数。 算子调度具体执行的所有可能的调度方式称为调度空间。AI 编译器优化的目的在于通过对算子进行最佳调度,使得算子在特定硬件上的运行时间达到最优水平。 Reorder(交换)、Split(拆分)、Fuse(融合)、Tile(平铺)、Vector(向量化)、展开(Unrolling)、并行(Parallelizing)等,以 Halide 思想为指导的 AI 调度变换的方式Halide 调度变换在调度中可以使用许多优化手段,这些方式可以通过变换调度树来体现。

    61210编辑于 2024-11-29
  • 来自专栏Hank’s Blog

    3-4 列表的子集

    #列表的子集 Subsetting List #[[]] / $ / [[]][] / [[]][[]] #嵌套列表 /不完全匹配(partial matching) > x <- list(id=1:4,height=170,gender="male") > x[1] #找第1列的元素 $`id` [1] 1 2 3 4 > x["id"] #两个函数作用相同 $`id` [1] 1 2 3 4 > x[[1]] [1] 1 2 3 4 > x[["id"]] [1] 1 2 3 4 > x

    86910发布于 2020-09-16
  • 来自专栏python3

    3-4 文件读写例子(4)

    /*******************************************************

    49330发布于 2020-01-14
  • 来自专栏python3

    3-4 文件读写例子

    n学习通过文件流FileStream打开文本文件、写入文本文件、设置文件属性、实施对文件的目录操作管理的基本方法

    1.1K30发布于 2020-01-14
  • 来自专栏python3

    3-4 文件读写例子(3)

    //==============================第二部分:类设计============================

    49210发布于 2020-01-08
  • 来自专栏python3

    3-4 文件读写例子(2)

    向项目中添加名为FileOption.cs的类文件,并准备填写关于文件操作的各种方法,如图3-8所示:

    52430发布于 2020-01-14
  • 来自专栏python3

    3-4 文件流类FileStream

    nFileMode和FileAccess,FileShare方法基本介绍及注意事项

    93520发布于 2020-01-07
  • 来自专栏腾讯大讲堂的专栏

    AI异常计算点的监控调度

    一、背景 互联网产业拥抱AI成为了当下的热潮:无人驾驶、医疗AI和智能推荐从实验室走出,融入到工程实业中;腾讯自主研发的王者荣耀等游戏AI给人们带去了快乐,“绝艺”更是获得了UEC杯冠军;而AI和海量计算力分不开 四、调度 运行中的AI运算,持续的吃cpu时间片,虽然Linux采用了CFS公平调度策略,但存储引擎与AI计算混部竞争,相比于单跑存储引擎,增加了调度和现场恢复等时延消耗。 现网运营中还发现,AI计算火力全开时(如下图),存储引擎偶尔会出现获取cpu时间片不够的情况。综上,弹性平台监控存储引擎的cpi标准差,当偏差超过限定的范围,即为异常计算点,平台执行调整或调度操作。 动态调整 监控到cpi异常,平台优先调低AI计算的quota值,调整采用“乘性减 加性增”策略,将quota值降一半,限制AI容器的cpu时间片分配,若一段时间内,cpi监控未检测到异常,平台加性恢复AI 跨机调度 平台统计的cpi异常调整次数超过N次,或者quota值小于period值,即可用的cpu能力小于一核,平台执行调度替换操作,并冻结被调度母机一段时间,此时间段内不会创建计算容器。

    1.8K70发布于 2018-06-08
  • 来自专栏腾讯架构师的专栏

    AI 异常计算点的监控调度

    作者:胡俊彬 一、背景 互联网产业拥抱AI成为了当下的热潮:无人驾驶、医疗AI和智能推荐从实验室走出,融入到工程实业中;腾讯自主研发的王者荣耀等游戏AI给人们带去了快乐,“绝艺”更是获得了UEC杯冠军; 四、调度 运行中的AI运算,持续的吃cpu时间片,虽然Linux采用了CFS公平调度策略,但存储引擎与AI计算混部竞争,相比于单跑存储引擎,增加了调度和现场恢复等时延消耗。 动态调整 监控到cpi异常,平台优先调低AI计算的quota值,调整采用“乘性减 加性增”策略,将quota值降一半,限制AI容器的cpu时间片分配,若一段时间内,cpi监控未检测到异常,平台加性恢复AI 跨机调度 平台统计的cpi异常调整次数超过N次,或者quota值小于period值,即可用的cpu能力小于一核,平台执行调度替换操作,并冻结被调度母机一段时间,此时间段内不会创建计算容器。 下图为某业务调度月图。 五、总结 平台基于cpi构建的模型监控调度异常点,但由于在线业务的业务量、业务模型、网络环境的变化,会使cpi模型可用性降低。

    2.2K00发布于 2017-09-20
  • 来自专栏用户画像

    4.4 文件系统疑难点 3-4

    为了创建一个文件,应用程序调用逻辑文件系统。逻辑文件系统知道目录结构形式。它将分配一个新的FCB给文件,把相应目录读入内存,用新的文件名更新该目录和FCB,并将结果写回到磁盘。

    68010发布于 2018-08-24
  • 来自专栏叽叽西

    lagou 爪哇 3-4 spring cloud 问答笔记

    熔断即断路保护。微服务架构中,如果下游服务因访问压⼒过⼤⽽响应变慢或失 败,上游服务为了保护系统整体可⽤性,可以暂时切断对下游服务的调⽤。这种牺 牲局部,保全整体的措施就叫做熔断。

    57620编辑于 2022-05-17
  • 来自专栏人工智能与演化计算成长与进阶

    16推荐系统3-4协同过滤算法

    和这个用户对此影片的评价,理论上我们能够通过用户对电影类型的喜好,和用户对此电影的评价来推断出电影的特征向量的

    90411发布于 2020-08-14
  • 来自专栏爬虫逆向案例

    Js逆向-猿人学(3-4)访问逻辑-样式干扰

    第三题和第四题跟Js逆向没有什么关系,本来是不想发的,为了排版好看也发这个专栏里吧。

    68530发布于 2021-11-22
  • 来自专栏coding for love

    3-4 使用loader打包静态资源(样式篇下)

    上一节我们学习了,webpack如何打包样式文件以及如何自动添加前缀。本节我们继续学习如何打包@import引入的样式文件,css模块化以及如何打包字体文件。

    1K20发布于 2019-07-01
  • 来自专栏AI机器学习与深度学习算法

    机器学习入门 3-4 创建Numpy数组(和矩阵)

    Notes: zeros 和 ones 函数创建的数组默认为浮点型,而 full 函数 dtype 默认为 None 类型,所以如果在使用 full 不指定 dtype 的情况下,默认为传入 fill_value 值的类型。

    84610编辑于 2022-05-25
  • 来自专栏Python项目实战

    “电不是不够,是调度太笨”:聊聊 AI 驱动的能源调度优化,到底在优化什么

    “电不是不够,是调度太笨”:聊聊AI驱动的能源调度优化,到底在优化什么先抛一个很现实、也很容易被忽略的事实:今天很多能源问题,本质上不是“缺能源”,而是“不会调度能源”。 二、传统调度的“老毛病”在没有AI之前,大多数调度系统依赖三样东西:规则(if-else)简单预测模型人的经验兜底听起来很稳,但实际上有几个硬伤。 3️⃣人在环路中,效率是上限说句实在话:调度员再牛,也不可能在毫秒级、全局最优上战胜机器。三、AI为什么特别适合做能源调度?我个人觉得,能源调度AI非常“对口”的一个场景,原因有三点。 六、AI调度和传统调度,最大的差别是什么?我用一句我自己的感受总结:传统调度在“避免犯错”,AI调度在“持续变聪明”。 AI的优势不在于一开始就完美,而在于:它会记住“这次调度带来的后果”它会在长期回报上优化策略它能适应环境变化,而不是等人改规则七、AI调度并不是“全自动”,而是“人机协同”这里我必须泼一盆“理性冷水”。

    27910编辑于 2026-01-11
  • 来自专栏用户9199536的专栏

    C|进程调度|单核CPU调度

    CPU调度,决定了CPU执行进程的策略,好的调度policy需要兼顾进程首次被调度的等待时间和进程结束执行的等待时间,因此在算法设计上极其精妙。本章完全Copy自OSTEP,介绍了基础的调度算法。 执行后必须执行到底,无法优化 条件三 假设条件3取消,可以进行Process Switch Shortest Time-to-Completion First (STCF) 每次新job进入,重新进行调度 ,按照剩余时间进行调度(可以看作把job分割) Metric II 首次被调度等待的时间 Round Robin 时间切片,每次切片都轮换所有进程。 ---- 疑惑 首次被调度等待的时间 Round Robin 时间切片,每次都轮换所有进程。

    1.6K40发布于 2021-11-22
  • 来自专栏刘明的小酒馆

    Linux内核调度分析(进程调度

    Linux进程调度 发展历史 Linux从2.5版本开始引入一种名为的调度器,后在2.6版本中将公平的的调度概念引入了调度程序,代替之前的调度器,称为算法(完全公平调度算法)。 Linux调度算法 调度器类 Linux的调度器是以模块的方式提供的,这样使得不同类型的进程按照自己的需要来选择不同的调度算法。 上面说讲到的CFS算法就是一个针对普通进程的调度器类,基础的调度器会按照优先级顺序遍历调度类,拥有一个可执行进程的最高优先级的调度器类胜出,由它来选择下一个要执行的进程。 接下来我们考虑调度周期,理论上,调度周期越小,就越接近“完美调度”,但实际上这必然会带来严重的上下文切换消耗。 调度器入口 正如上文所述,每当要发生进程的调度时,是有一个统一的入口,从该入口选择真正需要调用的调度类。

    16K113发布于 2018-01-23
  • 来自专栏韩曙亮的移动开发专栏

    【Linux 内核】CFS 调度器 ④ ( 调度子系统组件模块 | 主调度器、周期性调度器 | 调度器类 )

    文章目录 一、调度子系统组件模块 二、主调度器、周期性调度器 三、调度器类 一、调度子系统组件模块 ---- 调度器 需要对 被调度的进程 进行 排序 和 调度管理 , 进程管理过程需要 调度器 的 组件模块 , 以及相关 算法 数据结构 来完成 , 如 : 执行队列 ; 二、主调度器、周期性调度器 ---- CPU 通过 " 上下文切换 " 选择 " 主调度器 " 或 " 周期性调度器 " , " 上下文切换 , 自动调用 scheduler_tick() 函数 , 完成调度 , 这是根据 进程 运行时间 , 自动触发进程调度 ; 三、调度器类 ---- 主调度器 或 周期性调度器 根据 不同的 " 选择进程 " 选择不同的 调度器类 , 可选的调度类参考 【Linux 内核】调度器 ⑦ ( 调度器类型 | 停机调度类 stop_sched_class | 限期调度类 dl_sched_class | 实时调度类 : 限期调度类 ; rt_sched_class : 实时调度类 ; fair_sched_class : 公平调度类 ; idle_sched_class : 空闲调度类 ; 每个 调度器类

    3.6K10编辑于 2023-03-30
  • 来自专栏山山仙人的专栏

    Kubernetes Pod资源调度之全自动调度和定向调度

    2、全自动调度 全自动调度的控制器是Deployment或RC,Deployment或RC的主要功能之一就是自动部署一个容器应用的 份副本,以及持续监控副本的数量,在集群内始终维持用户指定的副本数量。 ,这3个Nginx Pod由系统全自动完成调度。 定向调度通过NodeSelector标签实现, Master上的Scheduler服务(kube-scheduler进程)负责实现Pod的调度,整个调度过程通过执行一系列复杂的算法,最终为每个Pod都计算出一个最佳的目标节点 NodeSelector来进行指定Node范围的调度。 亲和性调度机制则极大扩展了Pod的调度能力,主要的增强功能如 下。

    1.9K10发布于 2020-04-29
领券