- 综合排序
- 最热优先
- 最新优先
- 来自专栏存储公众号：王知鱼
AI IO墙：美光PCIe Gen6存储
选型PCIe Gen6 SSD：9000系列指导AI高IOPS场景部署，结合Broadcom/NVIDIA生态，实现8600万IOPS系统级性能。 划线高亮 观点批注 高性能存储对于AI训练和推理正变得至关重要 揭示了当前AI硬件架构中的 "I/O墙"（I/O Wall）或带宽瓶颈问题，并以此论证高性能存储的必要性： 算力与带宽发展的严重失衡： 结合第一张图关于"AI算力增长快于带宽"的背景，这表明美光正在通过推出Gen6 SSD来解决带宽瓶颈问题，以匹配NVIDIA Blackwell等下一代AI芯片的I/O速度。 容量与性能的平衡： 性能端： 9000系列虽然容量（30.72TB）不是最大，但通过PCIe Gen6提供极致速度，服务于AI训练等对延迟敏感的场景。 数据中心超高性能型 GPU作为存储发起者 核心观点是重新定义存储I/O的控制权，以适应AI负载的极端需求： 痛点：CPU是高并发I/O的瓶颈。
55010编辑于 2025-12-25 - 来自专栏iSharkFly
Confluence 6 附件存储选项 原
在早期的 Confluence 版本中，我们允许存储附件到 WebDav 或者 Confluence 数据库中。针对新的 Confluence 安装，我们不再支持这 2 种存储了。 数据库（已弃用） 在 Confluence 5.4 及其早期的版本，我们给了系统管理员存储附件到数据库中的选项，系统管理员可以在这些版本中配置附件的存储。 存储附件到数据库中可以带来一些好处（例如，可以更加容易的进行备份，避免文件系统中出现的字符集不支持的错误），但是请注意这种存储方式将会大大加大数据库空间的使用，随着时间的推移，你的数据库可能需要更多的存储空间 WebDav（已弃用） WebDav 在现在的存储中已经不是一个存储选项了，已经完全启用了。 https://www.cwiki.us/display/CONF6ZH/Attachment+Storage+Configuration
58430发布于 2019-01-31 - 来自专栏码农知识点
zookeeper源码分析(6)-数据和存储
在Zookeeper中，数据存储分为两部分：内存数据存储和磁盘数据存储。本文主要分析服务器启动时内存数据库的初始化过程和主从服务器数据同步的过程。在此之前介绍一些数据存储涉及的基本类。 DataTree Zookeeper的数据模型是一棵树，DataTree是内存数据存储的核心，代表了内存中一份完整的数据(最新)，包括所有的节点路径，节点数据和ACL信息，对应watches等。 commitLogBuffer = 700; //todo protected LinkedList<Proposal> committedLog = new LinkedList<Proposal>(); 文件存储主要包括事务日志文件的存储和快照文件的存储 存储内容包括DataTree信息和会话信息。FileSnap提供了快照相应的接口，，主要包括存储、序列化、反序列化、访问相应快照文件。 5.应用事务 在循环过程中处理事务日志processTransaction,也就是根据事务日志类型不断的更新sessions 和DataTree中的数据内容 6.回调事务 回调listener.onTxnLoaded
2.2K10发布于 2020-06-22 - 来自专栏皮振伟的专栏
漫谈AI推理与存储
AI存储核心需求 模型权重 LLM模型权重是AI推理最基础的持久化存储数据，核心特征为一次写入、多次读取。 KV Cache存储诉求、延迟与成本痛点 综合两种KV Cache管理方式，AI推理场景对存储的核心诉求可总结为三点：容量大、数量多、分布式高效调度。 基于GD2FS的AI推理架构 基于GD2FS构建的LLM推理协同架构，核心是重塑端到端的AI推理链路，打破传统推理引擎、存储、调度系统的割裂状态。 AI推理是典型的系统性工程，性能优化不能局限于单一模块，需实现存储、推理、调度的全局协同。 、缓存吞吐、存储成本、资源调度等核心痛点，为超长上下文、高并发、大规模AI推理场景提供底层支撑。
10710编辑于 2026-06-05 - 来自专栏AI
AI中的数据存储
: GB级别的顺序写 推理和RAG过程中: TB级别的随机读 归档过程中: PB级别的随机写 典型 AI 集群的存储剖析(按存储性能分层存储) 图片 左边绿色GPU服务器集群通常只能提供8个U.2的插槽 中间采用高性能全闪存,通过是TLC, 弥补机械盘性能, 总容量比HDD少 右边采用对象存储, 存储集群或JBODS, 包含大量机械盘, 总容量占比高 AI集群中的数据移动 图片 1.数据采集阶段，原始数据按顺序写入对象存储层 RAG 还可以创建额外的 I/O 活动 5.归档流程: 模型输入和输出被捕获并写入对象存储层的磁盘 旨在优化 AI 存储效率的产品组合 QLC 提升新型 AI DC(数据中心) 构建的电源效率 每个 DGX 有关建模详细信息，请参阅附录“QLC 功率效率与 HDD” 模型训练与数据存储 AI 数据穿越存储层之旅 最近的检查点基本在SSD上 早期的检查点数据在HDDS AI数据量级和性能 检查点：提高存储容量和吞吐量 Blob 存储层一次性访问可实现高吞吐量 AI负载中的存储扩展性 总结 AI集群流程中的数据存储需要根据实际业务的量级和性能要求做分层存储, 这样成本可控且性能满足需求 AI行业也会带动存储行业发展,
1.7K11编辑于 2024-09-18 - 来自专栏北亚数据恢复中心
RAID6存储断电数据恢复案例
本次分享的案例是由于机房突然断电导致整个存储瘫痪，加电后存储依然无法使用。经过用户方工程师诊断后认为是断电导致存储阵列损坏。 整个存储是由12块盘组成的RAID-6磁盘阵列，被分成一个卷，分配给几台Vmware的ESXI主机做共享存储。 将故障存储的所有磁盘和备份sss数据的目标磁盘连入到一台Windows Server 2008的服务器上。以底层方式读取扇区，发现了大量损坏扇区。初步判断可能是这种硬盘的读取机制与常见的硬盘不一样。 【RAID重组】 1、分析RAID结构：存储使用的是标准的RAID-6阵列，接下来只需要分析出RAID 成员数量以及RAID的走向就可以重组RAID。 2、分析RAID条带大小：整个存储被分成一个大的卷，分配给几台ESXI做共享存储，因此卷的文件系统肯定是VMFS文件系统。而VMFS卷中又有存放了大量的Windows 虚拟机。
1.3K20发布于 2021-09-27 - 来自专栏存储公众号：王知鱼
微软：AI存储，SSD or HDD ?
Fig-2 AI训练工作流对应的存储方案定性说明。 Fig-3 图示 AI训练工作流中存储层动态交互过程。 数据转移到HDD层做长时保留 • 存储层的性能/容量，随GPUs数量及训练次数弹性扩展 AI模型训练前，要完成数据Tokenization/ Vectorization，用什么专用软件来实现？ 核心要点：GPU从Blob存储层同时访问会驱动高吞吐量 Fig-6 从AI系统存储带宽需求，看HDD和SSD发展现况和机遇： • 当前系统使用SSD能满足训练和Checkpoint的性能读取（但成本较高 总结 作为运营主要AI训练资源云厂商，”巨硬“对AI应用层系统实践，应该说是富有经验的，从这篇分享中可以总结以下几点： • 和新兴存储厂商（WEKA/VAST/Infidant）等普遍拥抱闪存基础设施& （Fig-5）； • HDD/SSD介质发展趋势，AI场景要兼顾容量和性能（Fig-7）。
1.2K10编辑于 2025-02-11 - 来自专栏存储公众号：王知鱼
SuperMicro：AI存储硬件方案
SuperMicro：AI存储硬件方案-Fig-1 云厂商 AI存储方案 大规模 AI/GPU 集群基础设施。按可扩展单元 (SU，也称为 Pod，例如 256 个 GPU) 进行扩展。 SuperMicro：AI存储硬件方案-Fig-2 企业级AI存储方案 Pod 级别的部署（较云厂商规模、性能要求降低） 企业用例，推理与训练的比较 存储需求： • 全 NVMe 或 PB 级别的分层存储 • 并行文件系统，高性能对象存储。 SuperMicro：AI存储硬件方案-Fig-3 基础计算硬件方案 在执行 AIOps 和 MLOps 时： • GPU 密集型服务器加速 AI 训练和推理。 SuperMicro：AI存储硬件方案-Fig-5 计算+存储（性能层）+容量层 方案 所有训练数据集和模型都存储在本地 • 数据湖使用容量优化的存储。 SuperMicro：AI存储硬件方案-Fig-6 方案验证 机架视角的集群组网方案 解决方案架构，分为三个层次： 1.
1K10编辑于 2025-02-11 - 来自专栏软件工程师Michael
.NET6实现简单数据存储
下面是一个使用.NET 6 实现简单数据存储（将数据存储到文本文件中）的示例代码。此示例使用System.IO命名空间来处理文件操作。 string dataToStore = "这是要存储到文件中的示例数据";：定义一个字符串变量 dataToStore，用于存储要写入文件的数据。 string filePath = "data.txt";：定义一个字符串变量 filePath，指定要存储数据的文件路径。这里使用的是相对路径，文件会存储在项目的运行目录下。 Console.WriteLine("数据已成功存储到文件中。");：在控制台输出一条消息，表示数据已成功存储。 如果需要更复杂的数据存储，例如存储对象到文件，可以使用序列化和反序列化技术，如 JSON 序列化（使用 System.Text.Json 命名空间）。
42910编辑于 2025-02-07 - 来自专栏写代码和思考
MySQL学习笔记(6) 存储过程和函数
背景 本节学习存储过程和函数。 2.知识 2.1 概念 存储过程是多条SQL语句的集合，即一次执行多个语句，批量处理SQL语句。 存储过程和函数很类似，概念不同，使用的方法不同。 2.2 存储过程 创建存储过程 先用 DELIMITER 将 MySQL 结束符设置 //，因为MySQL 默认的结束符是 分号( ; ) ，这样是为了避免冲突。写完存储过程后，再改回 分号。 示例： DELIMITER // CREATE PROCEDURE ppp() BEGIN SELECT * FROM book; END // DELIMITER ; 调用存储过程 CALL ppp 扩展 整体看存储过程的维护成本还是很高的，一般的公司没有DBA的话确存在困难，建议把业务逻辑放在业务层做。 网上也在使用存储过程上也存在一些讨论，可以了解下： 为什么阿里巴巴Java开发手册里要求禁止使用存储过程？ https://www.zhihu.com/question/57545650?
75140发布于 2021-06-29 - 来自专栏iSharkFly
Confluence 6 如何备份存储文件和页面信息
备份的 ZIP 文件包含有 entities.xml，这个 XML 文件包含有 Confluence 的所有页面内容和存储附件的目录。 备份 Zip 文件结构 页面的附件是存储在附件存储目录中的，通过页面和附件 ID 进行识别。 有关 XML 文件中存储的其他内容可以忽略。 有关 XML 文件中存储的其他内容可以忽略。 </object> https://www.cwiki.us/display/CONF6ZH/Retrieving+File+Attachments+from+a+Backup
1.2K30发布于 2019-01-31 SD NAND应用存储功能描述（6）读写数据
宽总线选择/取消选择宽总线(4位总线宽度)操作模式可以使用AcMD6选择/取消选择。默认总线上电或GO IDLE (CMDO)后的宽度为1位总线宽度。 b)卡未锁定被锁定的卡将响应ACMD6为非法命令。2GB卡要制作2GByte卡，最大块长度(READ BL LEN- write BL LEN)应设置为1024字节。 关闭电源可能会中断SD存储卡的读取操作。SDl存储卡确保在主机发出的除写或擦除操作外的所有情况下，即使在突然关闭或删除的情况下，数据也不会被破坏。 如果CSD寄存器的一部分存储在ROM中，那么这个不可改变的部分应与接收缓冲区的相应部分相匹配。如果匹配失败，那么卡将报告一个错误，并且不会更改任何寄存器内容。
36310编辑于 2024-06-28- 来自专栏焱融科技
AI 场景的存储优化之路
人工智能是数据的消耗大户，对存储有针对性的需求。这次我们讲讲面向AI场景的存储性能优化思路。 谈优化之前，我们先分析一下AI访问存储的几个特点： 海量文件，训练模型的精准程度依赖于数据集的大小，样本数据集越大，就为模型更精确提供了基础。 跟一些AI公司的同事交流中，大家经常提到的一个问题就是，用户在某一个目录下存放了海量文件，导致训练的时候出现性能问题，其实就是碰到了存储的热点问题。 综上，对于AI场景来说，分布式存储面临三大挑战： 海量文件的存储 小文件的访问性能 目录热点 海量文件的存储 首先讨论海量文件存储的问题。海量文件存储的核心问题是什么，是文件的元数据管理和存储。 总结 本文针对海量文件存储、小文件访问性能、热点访问三个维度，分析了面向AI场景下，分布式文件系统面临的挑战，以及我们的应对思路，也希望借此文和更多技术专家交流如何对AI场景下的存储方案进行针对性的优化
1.9K10发布于 2020-02-27 - 来自专栏AI系统
【AI系统】指令和存储优化
除了应用极广的循环优化，在 AI 编译器底层还存在指令和存储这两种不同优化。指令优化指令优化依赖于硬件提供的特殊加速计算指令。这些指令，如向量化和张量化，能够显著提高计算密度和执行效率。 并将结果存储到数组 C 当中。 张量化在 AI 应用日益广泛的今天，程序运行的数据形式经历了显著的演变。特别是以神经网络为代表的神经网络模型，其内部数据形式为多维矩阵，通常称为张量。 在 AI 系统中，这种视角下的内存管理显然无法支撑起 AI 应用。AI 系统通常需要处理大量的数据和复杂的算法，这就需要高效的内存分配和回收策略来支持它们的运行。 NPU 的内存管理机制包括：片上内存：NPU 通常具有片上内存，用于存储权重和激活等数据，以减少与外部内存的通信开销。内存访问模式：NPU 针对 AI 工作负载进行了优化，支持高并发的内存访问模式。
78610编辑于 2024-11-29 - 来自专栏云云众生s
为什么AI青睐对象存储
AI模型做出的每一个决策，它发现的每一个洞见，都源于为其训练和运行提供动力的海量数据储备。然而，随着AI模型变得越来越庞大和复杂，它们与数据交互的方式也带来了传统存储系统无法应对的挑战。 分散在分布式系统中的小文件以及对随机访问的需求，突显了AI的需求与最初为结构化、顺序工作流构建的基础设施能力之间的不匹配。 这篇博文探讨了对象存储如何为AI对数据的永不满足的渴望提供动力。 传统上，存储层通常是手动管理的，需要仔细编排才能在快速的临时存储和较慢的归档层之间移动数据。跨越数十PB非结构化数据的AI工作负载受益于对象存储固有的可扩展性。 与将某些操作集中化的存储系统不同，对象存储将数据和元数据分布在节点集群中，消除了单点瓶颈。这种架构允许AI工作负载随着数据增长线性扩展。 相关文章： 革新存储：GPU在现代基础设施中的作用 Tecton应对下一代生成式AI的重大挑战：个性化 AI 测试：更广泛的覆盖范围、更少的错误、新的风险 DevOps中使用AI：开发人员和运维人员需要了解什么
43010编辑于 2025-01-25 - 来自专栏AI掘金志
华为AI存储「求解」大模型
另一方面，以大模型为代表的多模态AI，数据结构、类型远比单模态AI复杂，数据量也更加庞大。 两大趋势相互叠加，市场对于存储的增量需求呼之欲出。 二、AI存储三要素：精度、效率、能耗 以往，训练模型的方法简单而粗暴：大量的数据加上人工，以及强大的算力，不断调优，提高模型精度。 很明显，前一种方式被广泛使用并达到了极限，后一种方式正呈星火燎原之势，开始席卷整个AI行业。 三、AI存储如何让企业用上大模型？ 基于此，华为推出了两款AI存储产品：OceanStor A310 ，FusionCube A3000。 AI存储的未来 从工业社会到信息社会，伴随着新技术的发展，数据的总量呈几何级数增长。 如何利用好数据成为关键，而这又与存储技术息息相关，两者相互影响、互相作用。
50830编辑于 2023-08-26 - 来自专栏iSharkFly
Confluence 6 附件存储提取文本文件
当文件需要被重新索引的时候，我们存储提取后的文本，我们不需要对文本中的内容重新进行索引。 提取后的文本文件，通常是以版本号进行命名的，例如 2.extracted_text, 同时还会存储文件自己的版本（如上面第八级目录中描述的）。 https://www.cwiki.us/display/CONF6ZH/Hierarchical+File+System+Attachment+Storage
57530发布于 2019-01-31 - 来自专栏iSharkFly
Confluence 6 整合到支持的附件存储选项
如果你现在正在存储附件到 WebDav 或者你的数据库中。你可以整合附件的存储到文件系统中。当你的附件从数据库中被合并到文件系统后，你存储在数据库中的附件数据就可以从数据库中删除了。 > 基本配置（General Configuration） > 附件存储（Attachment storage）。 单击 编辑（Edit ）来修改配置。 选择 Confluence home 目录中的本地存储（Locally in Confluence home directory）。 单击 保存（Save ）来保存修改。 www.scandio.de/blog/de/2013/05/confluence-attachment-migration-the-safe-way-2. https://www.cwiki.us/display/CONF6ZH
1.1K30发布于 2019-01-31 - 来自专栏iSharkFly
Confluence 6 附件存储文件系统的分级
Confluence 存储附件，例如文件和图片在文件系统中。 Confluence 的附件存储布局设计基于以下的考虑： 限制任何单一目录级别结构中的文件数量（在一些文件系统中，可能有限制每一个目录中可以存储的文件数量）。 空间 id 取模 250 4 完整的 空间 id 5 附件所附加在页面的 ID 取模 250 后的最小 3 个数字 6 附件所附加在页面的 ID 取模 250 后的下一个最小 3 个数字 7 附件所在页面的完整的 content id 8 附件所在完整的 content id 9 这个是文件，这个文件是按照版本号进行命名的，例如：1, 2, 6。 https://www.cwiki.us/display/CONF6ZH/Hierarchical+File+System+Attachment+Storage
1.5K50发布于 2019-01-31 - 来自专栏云计算D1net
6个影响战略计划的多云存储挑战
在实施多云存储策略之前，企业需要确定将存储哪些数据、如何存储数据、要存储的数据量，以及数据将如何移动和转换这些至关重要的问题。所有这些都将带来一些挑战。 ? 企业使用多个云存储提供商的服务可能会影响数据的存储方式和位置，因此在提高性能和降低成本方面需要考虑哪些因素。 在实施多云存储策略之前，企业需要确定将存储哪些数据、如何存储数据、要存储的数据量，以及数据将如何移动和转换这些至关重要的问题。所有这些都将带来一些挑战。 例如，安全、隐私和管理等问题将如何发挥作用? 存储服务必须与支持交付管道的DevOps工具无缝集成。 挑战5：成本问题 多云存储策略的另一个挑战是维持有效的成本控制。 挑战6：专业技术人员 企业必须确保其员工具备开发、定制和维护系统和应用程序所需的技能，以适应不同且不断发展的云存储环境。招聘具有这些技能的专业人员可能既困难又昂贵，甚至会增加企业总体成本。
82930发布于 2019-08-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号