首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏Deep learning进阶路

    3-2 队列

    3-2 队列 1、基本概念 队列是一种特殊的线性表,特殊之处在于它只允许在表的前端(front)进行删除操作,而在表的后端(rear)进行插入操作,和栈一样,队列是一种操作受限制的线性表。 队列存储结构的实现有以下两种方式:顺序队列 、 链式队列 2、顺序队列 在顺序表的基础上实现的队列结构; ? 一般情况下,rear等于max时,说明队尾元素应占据了顺序表的最后一个存储位置,即无法再从队尾插入新元素, 这个时候判定为“队满”,但是如果说队首元素前面还有空的位置,那么说明我们这个顺序表还是有空间可以存放元素的 sq_queue *q) { if (q->rear == MAX) return true; else return false; } /*循环顺序队列的 判满条件, 能利用front前面的空间存储元素 Full_Circle(&q1)) { Push_circle(&q1, i); i++; } Show(&q1); cout << "\n但是能存储的元素的数目要比普通顺序队列少一个\n

    56840发布于 2019-07-02
  • 3-2配置系统

    .Net Core配置系统支持文件(Json、XML、INI)、注册表、环境变量、命令行、AZure Key Vault等。

    9310编辑于 2026-06-17
  • 来自专栏Hank’s Blog

    3-2 矩阵的子集

    > x <- matrix(1:6,nrow=2,ncol=3) > x [,1] [,2] [,3] [1,] 1 3 5 [2,] 2 4 6

    77920发布于 2020-09-16
  • 来自专栏叽叽西

    lagou 爪哇 3-2 zookeeper 笔记

    通过共享存储 这就好比开发leader按照约定的时间和路径,把任务分配表放到了svn上,组员每天去svn上拉取最新的任务分配表,然后干活。其中svn就是共享存储。 此种方式依赖于中央存储。 ZooKeeper如何解决分布式系统面临的问题 ZooKeeper对分布式系统的协调,使用的是第二种方式,共享存储。 其实共享存储,分布式应用也需要 和存储进行网络通信。 注:Slave节点要想获取ZooKeeper的更新通知,需事先在关心的数据节点上设置观察点。 ④版本 刚刚我们提到,Zookeeper的每个Znode上都会存储数据,对于每个ZNode,Zookeeper都会为其维护一个叫作 Stat 的数据结构,Stat记录了这个ZNode的三个数据版本,分别是 ().forPath(path,"新内容".getBytes()); // 指定版本更新 client.setData().withVersion(1).forPath(path); 删除数据 配置存储

    58410编辑于 2022-05-17
  • 来自专栏破晓之歌

    JAVA入门3-2(未完,待续) 原

    迭代器只是遍历元素的,不是存储 for each()方法(迭代器方法的一中简便写法): ? ? ? 4.2.4修改课程: ? ? ? ? 4.2.5删除课程 ? remove()方法: ? ? ?

    47350发布于 2018-08-15
  • 来自专栏刷题笔记

    3-2 数组元素的区间删除 (20 分)

    本文链接:https://blog.csdn.net/shiliang97/article/details/101225075 3-2 数组元素的区间删除 (20 分) 给定一个顺序存储的线性表,请设计一个函数删除所有值大于 删除后表中剩余元素保持顺序存储,并且相对位置不能改变。 函数接口定义: int Delete( int A[], int L, int minA, int maxA ); 其中A是整型数组,存储原始线性表的元素;L是表长,即A中元素的个数;minA和maxA 函数Delete应将A中所有值大于minA而且小于maxA的元素删除,同时保证表中剩余元素保持顺序存储,并且相对位置不变,最后返回删除后的表长。

    1K30发布于 2019-11-08
  • 来自专栏AI

    AI中的数据存储

    : GB级别的顺序写 推理和RAG过程中: TB级别的随机读 归档过程中: PB级别的随机写 典型 AI 集群的存储剖析(按存储性能分层存储) 图片 左边绿色GPU服务器集群通常只能提供8个U.2的插槽 中间采用高性能全闪存,通过是TLC, 弥补机械盘性能, 总容量比HDD少 右边采用对象存储, 存储集群或JBODS, 包含大量机械盘, 总容量占比高 AI集群中的数据移动 图片 1.数据采集阶段,原始数据按顺序写入对象存储层 RAG 还可以创建额外的 I/O 活动 5.归档流程: 模型输入和输出被捕获并写入对象存储层的磁盘 旨在优化 AI 存储效率的产品组合 QLC 提升新型 AI DC(数据中心) 构建的电源效率 每个 DGX 有关建模详细信息,请参阅附录“QLC 功率效率与 HDD” 模型训练与数据存储 AI 数据穿越存储层之旅 最近的检查点基本在SSD上 早期的检查点数据在HDDS AI数据量级和性能 检查点:提高存储容量和吞吐量 Blob 存储层一次性访问可实现高吞吐量 AI负载中的存储扩展性 总结 AI集群流程中的数据存储需要根据实际业务的量级和性能要求做分层存储, 这样成本可控且性能满足需求 AI行业也会带动存储行业发展,

    1.7K11编辑于 2024-09-18
  • 来自专栏存储公众号:王知鱼

    微软:AI存储,SSD or HDD ?

    Fig-2 AI训练工作流对应的存储方案定性说明。 Fig-3 图示 AI训练工作流中存储层动态交互过程。 数据转移到HDD层做长时保留 • 存储层的性能/容量,随GPUs数量及训练次数弹性扩展 AI模型训练前,要完成数据Tokenization/ Vectorization,用什么专用软件来实现? 核心要点:GPU从Blob存储层同时访问会驱动高吞吐量 Fig-6 从AI系统存储带宽需求,看HDD和SSD发展现况和机遇: • 当前系统使用SSD能满足训练和Checkpoint的性能读取(但成本较高 总结 作为运营主要AI训练资源云厂商,”巨硬“对AI应用层系统实践,应该说是富有经验的,从这篇分享中可以总结以下几点: • 和新兴存储厂商(WEKA/VAST/Infidant)等普遍拥抱闪存基础设施& (Fig-5); • HDD/SSD介质发展趋势,AI场景要兼顾容量和性能(Fig-7)。

    1.3K10编辑于 2025-02-11
  • 来自专栏存储公众号:王知鱼

    SuperMicro:AI存储硬件方案

    SuperMicro:AI存储硬件方案-Fig-1 云厂商 AI存储方案 大规模 AI/GPU 集群基础设施。按可扩展单元 (SU,也称为 Pod,例如 256 个 GPU) 进行扩展。 最高性能的 AI 训练和推理。 存储需求: • 全部为 NVMe 存储。 • 每个 SU 的性能要求:读取 125 GBps / 写入 62 GBps。 SuperMicro:AI存储硬件方案-Fig-2 企业级AI存储方案 Pod 级别的部署(较云厂商规模、性能要求降低) 企业用例,推理与训练的比较 存储需求: • 全 NVMe 或 PB 级别的分层存储 • 并行文件系统,高性能对象存储。 SuperMicro:AI存储硬件方案-Fig-3 基础计算硬件方案 在执行 AIOps 和 MLOps 时: • GPU 密集型服务器加速 AI 训练和推理。 SuperMicro:AI存储硬件方案-Fig-5 计算+存储(性能层)+容量层 方案 所有训练数据集和模型都存储在本地 • 数据湖使用容量优化的存储

    1.1K10编辑于 2025-02-11
  • 来自专栏万能的小草

    pandas入门3-2:识别异常值以及lambda 函数

    假设每个月的客户数量保持相对稳定,将从数据集中删除该月中特定范围之外的任何数据。最终结果应该是没有尖峰的平滑图形。

    1.4K10发布于 2020-02-17
  • 来自专栏皮振伟的专栏

    漫谈AI推理与存储

    AI存储核心需求 模型权重 LLM模型权重是AI推理最基础的持久化存储数据,核心特征为一次写入、多次读取。 KV Cache存储诉求、延迟与成本痛点 综合两种KV Cache管理方式,AI推理场景对存储的核心诉求可总结为三点:容量大、数量多、分布式高效调度。 基于GD2FS的AI推理架构 基于GD2FS构建的LLM推理协同架构,核心是重塑端到端的AI推理链路,打破传统推理引擎、存储、调度系统的割裂状态。 AI推理是典型的系统性工程,性能优化不能局限于单一模块,需实现存储、推理、调度的全局协同。 、缓存吞吐、存储成本、资源调度等核心痛点,为超长上下文、高并发、大规模AI推理场景提供底层支撑。

    18810编辑于 2026-06-05
  • 来自专栏AI掘金志

    华为AI存储「求解」大模型

    另一方面,以大模型为代表的多模态AI,数据结构、类型远比单模态AI复杂,数据量也更加庞大。 两大趋势相互叠加,市场对于存储的增量需求呼之欲出。 二、AI存储三要素:精度、效率、能耗 以往,训练模型的方法简单而粗暴:大量的数据加上人工,以及强大的算力,不断调优,提高模型精度。 很明显,前一种方式被广泛使用并达到了极限,后一种方式正呈星火燎原之势,开始席卷整个AI行业。 三、AI存储如何让企业用上大模型? 基于此,华为推出了两款AI存储产品:OceanStor A310 ,FusionCube A3000。 AI存储的未来 从工业社会到信息社会,伴随着新技术的发展,数据的总量呈几何级数增长。 如何利用好数据成为关键,而这又与存储技术息息相关,两者相互影响、互相作用。

    51930编辑于 2023-08-26
  • 来自专栏技术让梦想更伟大

    C语言中3-2=?3%-2=?你确定答案吗

    抛砖引玉 C语言负数除以正数,与正数除以负数或者负数除以负数的余数和商,正负有谁定呢? -3 / 2 = ?; -3 % 2 = ?; 3 / (-2) = ?; 3 % (-2) = ?; (-3)

    1.4K61发布于 2020-07-03
  • 来自专栏WebJ2EE

    React:Table 那些事(3-2)—— 斑马纹、固定表头

    《React:Table 那些事》系列文章,会逐渐给大家呈现一个基于 React 的 Table 组件的定义、设计、开发过程。每篇文章都会针对 Table 的某个具体功能展开分析:

    4.5K10发布于 2019-07-19
  • 来自专栏帮你学MatLab

    MATLAB智能算法30个案例分析(3-2)

    神经网路部分 function err=Bpfun(x,P,T,hiddennum,P_test,T_test) %% 训练&测试BP网络 %% 输入 % x:一个个体的初始权值和阈值 % P:训练样

    1K50发布于 2018-04-18
  • 来自专栏AI机器学习与深度学习算法

    机器学习入门 3-2 jupyter notebook中的魔法命令

    本系列是《玩转机器学习教程》一个整理的视频笔记。本小节主要介绍jupyter Notebook中的两个魔法命令%run和%time。

    1.7K00发布于 2019-11-13
  • 来自专栏焱融科技

    AI 场景的存储优化之路

    人工智能是数据的消耗大户,对存储有针对性的需求。这次我们讲讲面向AI场景的存储性能优化思路。 谈优化之前,我们先分析一下AI访问存储的几个特点: 海量文件,训练模型的精准程度依赖于数据集的大小,样本数据集越大,就为模型更精确提供了基础。 跟一些AI公司的同事交流中,大家经常提到的一个问题就是,用户在某一个目录下存放了海量文件,导致训练的时候出现性能问题,其实就是碰到了存储的热点问题。 综上,对于AI场景来说,分布式存储面临三大挑战: 海量文件的存储 小文件的访问性能 目录热点 海量文件的存储 首先讨论海量文件存储的问题。海量文件存储的核心问题是什么,是文件的元数据管理和存储。 总结 本文针对海量文件存储、小文件访问性能、热点访问三个维度,分析了面向AI场景下,分布式文件系统面临的挑战,以及我们的应对思路,也希望借此文和更多技术专家交流如何对AI场景下的存储方案进行针对性的优化

    1.9K10发布于 2020-02-27
  • 来自专栏AI系统

    AI系统】指令和存储优化

    除了应用极广的循环优化,在 AI 编译器底层还存在指令和存储这两种不同优化。指令优化指令优化依赖于硬件提供的特殊加速计算指令。这些指令,如向量化和张量化,能够显著提高计算密度和执行效率。 并将结果存储到数组 C 当中。 张量化在 AI 应用日益广泛的今天,程序运行的数据形式经历了显著的演变。特别是以神经网络为代表的神经网络模型,其内部数据形式为多维矩阵,通常称为张量。 在 AI 系统中,这种视角下的内存管理显然无法支撑起 AI 应用。AI 系统通常需要处理大量的数据和复杂的算法,这就需要高效的内存分配和回收策略来支持它们的运行。 NPU 的内存管理机制包括:片上内存:NPU 通常具有片上内存,用于存储权重和激活等数据,以减少与外部内存的通信开销。内存访问模式:NPU 针对 AI 工作负载进行了优化,支持高并发的内存访问模式。

    81910编辑于 2024-11-29
  • 来自专栏云云众生s

    为什么AI青睐对象存储

    AI模型做出的每一个决策,它发现的每一个洞见,都源于为其训练和运行提供动力的海量数据储备。然而,随着AI模型变得越来越庞大和复杂,它们与数据交互的方式也带来了传统存储系统无法应对的挑战。 分散在分布式系统中的小文件以及对随机访问的需求,突显了AI的需求与最初为结构化、顺序工作流构建的基础设施能力之间的不匹配。 这篇博文探讨了对象存储如何为AI对数据的永不满足的渴望提供动力。 传统上,存储层通常是手动管理的,需要仔细编排才能在快速的临时存储和较慢的归档层之间移动数据。跨越数十PB非结构化数据的AI工作负载受益于对象存储固有的可扩展性。 与将某些操作集中化的存储系统不同,对象存储将数据和元数据分布在节点集群中,消除了单点瓶颈。这种架构允许AI工作负载随着数据增长线性扩展。 相关文章: 革新存储:GPU在现代基础设施中的作用 Tecton应对下一代生成式AI的重大挑战:个性化 AI 测试:更广泛的覆盖范围、更少的错误、新的风险 DevOps中使用AI:开发人员和运维人员需要了解什么

    44610编辑于 2025-01-25
  • 来自专栏Soul Joy Hub

    【大模型AIGC系列课程 3-2】国产开源大模型:ChatGLM

    https://arxiv.org/pdf/2103.10360.pdf GLM是General Language Model的缩写,是一种通用的语言模型预训练框架。它的主要目标是通过自回归的空白填充来进行预训练,以解决现有预训练框架在自然语言理解(NLU)、无条件生成和有条件生成等任务中表现不佳的问题。 具体来说,GLM通过随机遮盖文本中连续的标记,并训练模型按顺序重新生成这些遮盖的部分。这种自回归的空白填充目标使得GLM能够更好地捕捉上下文中标记之间的依赖关系,并且能够处理可变长度的空白。通过添加二维位置编码和允许任意顺序预测空白,GLM改进了空白填充预训练的性能。

    86420编辑于 2023-08-28
领券