- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI掘金志
华为AI存储「求解」大模型
存储厂商谁能抢先解耦大模型训练的痛点，谁就能占据高地，成为第一个吃螃蟹的人。 作者 | 南书 编辑 | 余快 比起大模型前台的火热，人们的注意力很少关注到产业链上游。 如今，国内千行百业涌起大模型热潮，进入“群魔共舞”时代，谁能做出中国版的ChatGPT尚且未知。 但训练大模型所需要的GPU和存储器，却迎来了一次新的扩容机会。 与数据相伴相生的存储器，在大模型的推动下，也正迎来一次技术革命和市场跃迁。 站在微观角度，企业研发大模型要经过以下几个阶段：数据归集、数据预处理、模型训练、推理应用，每个阶段都离不开存储。 在数据归集阶段，大模型所需要的数据量大且种类繁多。 OceanStor A310 是一款深度学习数据湖存储产品，可以为企业训练大模型提供从“数据归集、预处理到模型训练、推理”的存储支撑。
49930编辑于 2023-08-26 - 来自专栏人工智能极简应用
【AI大模型】Transformers大模型库（十六）：safetensors存储类型
一、引言 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 二、safetensors库 2.1 概述 safetensors是一个库，旨在安全地存储和加载机器学习模型的权重，特别是针对PyTorch模型。它通过加密和验证模型数据来增强安全性，防止数据篡改。 () # 保存模型到safetensors格式 save_file(model_state_dict, "model.safetensors") 对应的pytorch保存模型的方法 # 保存模型状态字典 .pth文件不同，它提供了额外的安全特性，特别是在模型的分发和共享方面 三、总结 本篇内容展示了如何使用safetensors库，主要功能旨在安全地存储和加载机器学习模型的权重，特别是针对PyTorch 模型。
4.4K10编辑于 2024-08-13 这届存储，为大模型而生！
大模型需要能打的算力和网络，还需要能打的存储。据测算，数据存储约占大模型训练整体工程量的20-30%。随着更多AIGC的产生，这个比例还在继续提升。今天，更适合大模型的云存储，来了！ 腾讯云的最新云存储解决方案，主打三个关键点：//更全面：覆盖大模型数据采集与清洗、模型训练、模型推理和内容治理等全流程的数据处理。//更能打：大模型数据清洗和训练耗时缩短一半。 - 模型训练环节：腾讯云高性能并行文件存储CFS Turbo，拥有四大核心技术，让GPU不会闲下来——1、并行客户端：支持一个客户端同时和多个服务端通过N条链路传输，提升访问速率（好比仓库开了多扇门，客户自己从仓库取货 目前，80%的头部大模型企业选择了这套云存储解决方案，包括右脑科技、百川智能、智谱、元象等明星大模型企业。 此前，腾讯云已经推出了大模型训练集群HCC、向量数据库、以及行业大模型服务MaaS等大模型全链路云服务。大模型将开创下一代云服务，我们也将继续为大模型加速落地，铺好路，架好桥。
71110编辑于 2024-04-08- 来自专栏腾讯云存储
面向大模型时代的云存储架构
沙龙活动中腾讯云存储研发总监严俊明分享了《面向大模型时代的云存储架构》的主题演讲。 据 OpenAI 研究显示，大模型的智能程度与算力、参数规模呈正相关。训练大模型所需的基础设施已达万卡级别，参数从亿级跃升至万亿级，大模型为存储带来巨大的机遇与挑战。 在大模型采集、清洗、训练、推理、“智”理等环节，对存储基础设施提出规模、性能、稳定等多维度的要求。 其中，核心矛盾是大模型的海量数据需求和极致性能需求之间的矛盾。 对此，严俊明表示，“大模型对存储的要求是既要、又要，既要海量低成本的存储引擎，同时又要很高的性能要求，然而企业实践的过程中，这两者往往很难兼顾。” 模型训练阶段，自研 GooseFS-X 高性能存储，提升大模型预训练效率；在分发阶段，通过 GooseFS AZ 加速器来提升大模型分发效率。 此外，腾讯云还提供一站式安全解决方案来保障数据内容安全。
50510编辑于 2025-04-30 - 来自专栏存储公众号：王知鱼
IMPRESS：大模型推理存储优化新突破
全文概览 大模型推理技术正广泛应用于聊天、搜索、代码生成等领域，但其高效运行面临关键挑战：用户提问常共享大量上下文知识，导致系统需频繁加载重复数据。 研究背景与问题 大模型推理的挑战：共享上下文导致重复数据加载，SSD-I/O成性能瓶颈。 现有方案局限：内存容量不足、缓存策略忽视键值重要性。 2. 研究背景与问题意识 大模型推理 大模型推理有海量应用场景，目前已应用于多个领域： 聊天（Chat）: ChatGPT 搜索（Search）: Perplexity 代码（Code）: Cursor 问答 预填充 KV 存储系统 共享的KV缓存数据能重复使用，并最终缩短模型推理过程的首Token响应时延。 Note FAST 25 很多论文都在讨论推理场景存储访问优化，其核心又集中在缓存管理机制，与早期大数据推荐系统的缓存管理相比，大模型的热数据管理，呈现出更大范围的随机性，全部数据加载是不切实际的。
1.3K10编辑于 2025-03-17 - 来自专栏科技云报道
AI大模型疯长，存储扛住了吗？
存储方面，华为、阿里云、百度智能云、腾讯云等大厂，都相继推出了面向AI大模型的存储方案。 那么作为基础设施的三大件之一的存储，在AI大模型的场景下到底发生了哪些变化？又有哪些新的技术挑战？ 如果存储性能不强，那么可能需要耗费大量时间才能完成一次训练，这就会严重制约大模型的发展迭代。 事实上，不少企业在开发及实施大模型应用过程中，已经开始意识到存储系统所面临的巨大挑战。 数据显示，腾讯云AIGC云存储解决方案，可将大模型的数据清洗和训练效率均提升一倍，需要的时间缩短一半。 科大讯飞、中科院等大模型企业和机构，则采用了华为AI存储相关产品。 总的来说，随着AI大模型的推进，数据存储出现了新的趋势。市场渴望更高性能、大容量、低成本的存储产品，并加速大模型各个环节的融合和效率提升。 而各大厂商也在通过技术创新不断满足大模型各环节的需求，为企业实施大模型降低门槛。 在AI大模型的倒逼下，存储创新已在路上。
60410编辑于 2024-04-18 - 来自专栏Alter聊科技
“烧钱”的大模型，如何迈过存储这道坎？
根据第一性原理，大模型训练时算力利用率低的诱因是海量的小文件，传统存储系统无法高效地处理这些数据，导致加载速度缓慢。 大模型训练的效率要达到极致，减少不必要的浪费，必须在数据上下功夫，准确地说，必须要在数据存储性能上进行创新。 03 数据存储进入到“大模型时代”某种程度上说，大模型训练催生的数据存储性能要求，不过是文件存储系统加速演变的一个侧面。 直到今天，文件存储的需求仍在不断更新，文件系统的创新也在持续发生，就像大模型训练需求所折射出的演进方向。 无可否认的是，大模型正在从前台的“火热”，转向整个产业链条的协同驱动，数据存储正是其中的关键一环。
1.1K10编辑于 2023-08-30 - 来自专栏腾讯云存储
数据湖存储在大模型中的应用
本次巡展以“智算 开新局·创新机”为主题，腾讯云存储受邀分享数据湖存储在大模型中的应用，并在展区对腾讯云存储解决方案进行了全面的展示，引来众多参会者围观。 会中腾讯云高级产品经理林楠主要从大模型的发展回顾、对存储系统的挑战以及腾讯云存储在大模型领域中的解决方案等三个角度出发，阐述存储系统在大模型浪潮中可以做的事情。 为什么模型越来越大 对存储系统而言，通用型人工智能也属于应用的一种，那么了解大模型的应用机制和核心需求对存储系统的设计也至关重要。 大模型对存储系统的挑战 回顾GPT3的论文可以发现，大模型的整体框架中包括了数据的采集、清洗、预训练、微调、推理等多个阶段。 腾讯云存储在大模型领域中的解决方案 为了应对大模型的技术需求，腾讯云在IaaS、PaaS和SaaS等不同产品方向均提供了多样的技术支持手段，主要体现为三个“快”： 数据读取快：GooseFS数据加速，提供高性能存储
4.9K20编辑于 2023-11-01 CFS Turbo 大模型训练存储性能优化实践
数据来源： 2024腾讯全球数字生态大会，主讲人：杨飞 第一章：大模型训练引发的存储元数据瓶颈 随着大模型技术演进，训练数据集规模呈现爆发式增长，存储系统面临严峻的元数据管理挑战。 第二章：构建新一代元数据引擎与智能预读机制 针对大模型训练场景，CFS Turbo 采用了 新一代自适应条带化目录 技术与 智能预读策略 相结合的技术路径。 2.2 智能预读策略 (Intelligent Read-ahead Policy) 针对大模型训练（以混元DiT为例）中涉及的大量数据整理与转换操作（如 os.listdir, glob, find 优化后表现 性能提升倍数 Readdir 性能 - - 提升 55% 100万文件返回速度 30秒 1.4秒 8.6倍 第四章：混元DiT训练场景验证 在腾讯自研的 混元DiT (HunyuanDiT) 大模型训练实践中 实战验证： 方案已在腾讯 混元DiT 等千亿级大模型训练场景中得到验证，具备处理 百亿级 目录与 亿级 文件的工程成熟度。
11210编辑于 2026-05-30- 来自专栏腾讯云存储
高性能存储与大模型融合创新相关研究
在2023年中国数据与存储峰会“AIGC+存储融合发展论坛”上，腾讯云存储高级产品经理熊建刚老师发表主题演讲，就高性能存储和大模型融合创新相关研究展开探讨，以及腾讯云存储的实践案例。 熊老师耕耘存储20年，在腾讯云从事云存储领域的高性能存储以及与大模型融合创新方面的研究工作，致力于推动云技术和人工智能的创新与发展。 一、存储技术与人工智能相结合：为AI应用提供高效、可扩展的数据存储和处理基础 以ChatGPT为代表大模型的参数呈现指数级增长，已超越人脑神经网络数量。 随着大模型的发展，对数据湖诉求进一步加强。 第一，更高的可靠性和可用性，避免存储的故障到算力资源的浪费。 ，面向大模型的加速网络；腾讯云端到端大模型解决方案，适配算力按需的供给，高速供给数据资源。
47710编辑于 2024-01-31 - 来自专栏大模型应用
大模型应用：大模型本地部署的磁盘空间优化：模型分片存储与按需加载.48
为了破解这一难题，模型分片存储与按需加载成为大模型本地部署磁盘空间优化的核心方案。 模型分片存储 把大模型的完整参数文件，切成若干个小的分片文件，就像把一整块蛋糕切成小块，分别放在不同的盘子里。 大模型的参数存储形式大模型的参数本质上是海量的数值矩阵，这些矩阵以二进制文件的形式保存在磁盘上，常见的格式有：.bin 格式：最常见的模型参数文件格式，直接存储二进制参数数据。. 核心步骤：模型分片处理：将大模型文件拆分为多个小分片，生成索引文件和配置存储位置判断：根据分片实际存储位置决定是否需要修改路径映射完整验证测试：通过三个验证环节确保分片模型可用性按需加载运行：实际使用时只加载需要的模型分片 同时 响应耗时：56.05 秒 ===== 测试案例 2 ===== 用户输入：解释什么是大模型分片存储 模型回复：在大数据处理和机器学习领域，"大模型分片存储"是一种将大型深度学习模型分割成多个小块
56544编辑于 2026-03-17 - 来自专栏焱融科技
如何提升存储性能之IO模型和AIO大揭秘
如何提升存储系统的性能是一个对存储工程师们来说是永恒的大命题，解决这个问题并没有一击即中的银弹，IO性能的优化都在细节里。今天我们来讲一讲性能和IO模型之间的关系。 我们先从本地磁盘的IO模型说起。 在IO完成后的那次系统调用，系统会返回数据，这意味着IO可能已经完成了，但仍需应用再次主动请求，才能获得数据，所以会带了一些额外的延时，存储整体的延时性能差，且发生了多次内核和用户态之间的上下文切换，对延时要求高的应用一般不会采用该模型 例如顺序大IO，性能可能反而不如dio，这是因为buffer io要先写内存，再刷盘，而HDD或其它磁盘直接进行顺序IO性能可能更高；另外某些对数据可靠性要求比较高的场景中，写pagecache可能会有数据丢失的风险 03 分布式文件系统对AIO的支持及意义 对网络存储或者外部存储来说，客户端主要功能就是IO转发，所以客户端不涉及直接访问磁盘（IO访问模型，尤其是AIO的初衷，就是解决本地访问的问题），所以通常来说（ 尤其是对网络文件系统），类似GlusterFS等开源的分布式文件存储一般不会支持AIO。
2.1K22发布于 2020-11-13 - 来自专栏腾讯云存储
TStor CSP文件存储在大模型训练中的实践
比如聚焦在大模型平台的存储领域，如何管理海量的大模型训练物料、如何提升存储系统的性能、如何做好数据安全和信息合规等等，这些问题已成为领域内的火热话题，也成为了国内大模型工程领域能否更上一层楼的关键因素。 本文围绕了大模型训练的存储场景，分享TStor CSP作为腾讯内外部大模型训练场景的存储底座的心得和最佳实践。 TStor CSP大模型存储解决方案架构 在大模型预训练阶段，工程平台会围绕海量语料从零开始进行无监督的训练，通过迭代N个epoch从而得到一个基座大模型；业务通过对基座模型进行有监督的微调得到满足业务场景的专业模型 ● 快速数据访问 充分利用大模型存储设备的内存大的优势，通过合理分配文件数据和文件元数据内存占用实现数据的读取和写入加速操作。进一步提高数据访问性能。 在大模型系统中同样如此，存储系统的IO中断或数据丢失会直接影响模型训练效果，严重者会导致近几个epoch任务需要推倒重做，大大影响了业务效率。
2.6K20编辑于 2023-11-01 - 来自专栏存储公众号：王知鱼
AI大模型时代：向量数据库如何挑战存储极限？
全文概览 随着AI大模型时代的到来，我们正经历一场前所未有的数据爆炸。从推荐系统到大语言模型（LLM）的检索增强生成（RAG），向量数据库已成为支撑这些智能应用的核心基础设施。 关键应用： 向量数据库主要用于那些“相关性”比“100%精确性”更重要的场景，最典型的例子是推荐系统和大语言模型（LLM）的检索增强生成（RAG）。 底层存储性能 为上一张PPT的性能结果（吞吐量和带宽）提供了底层的存储I/O证据，证明了DiskANN工作负载的吞吐量与存储IOPS呈线性扩展关系。 随机访问的证据 (No Merged IOs)： 在存储系统中，如果I/O是顺序的（sequential），操作系统或驱动程序通常会把小的I/O请求（如多个4KB）合并（merge）成一个大的I/O请求 随着AI模型和向量数据规模持续膨胀，您认为存储行业应如何与AI框架（如PyTorch、TensorFlow）更紧密地结合，共同推动下一代AI存储架构的演进？
60910编辑于 2025-12-21 腾讯云数据湖存储 GooseFS：大模型存储基础设施技术解析与应用实践
腾讯云高级产品经理） 发布机构/场景：2024 腾讯全球数字生态大会 (Tencent Global Digital Ecosystem Summit) 一、 产品定位与核心亮点 GooseFS 是一款定位为“大模型存储基础设施 GooseFS 的商业差异化卖点在于：通过自研底层引擎与计算/服务端双向加速架构，化解了大模型场景下海量数据规模需求与极致读写性能需求之间的核心矛盾，为企业提供跨越基础设施性能鸿沟的统一存储池。 二、 产品应用场景 适用受众与场景： 主要面向运行大模型训练、机器学习（如 PyTorch、TensorFlow 框架）以及大数据分析（如 Spark、Hadoop、Delta Lake、Iceberg （数据来源：Fivetran data analyst survey, 2020 & DataBricks Lakehouse） 算力与存储的性能鸿沟：大模型训练的原始数据规模已从 TB 级跃升至 百 四、 典型案例 案例 1：某客户大模型集群 背景： 该客户原始数据量多达 数十 PB 级别，业务困境在于需要从海量数据中快速提取出有效信息以减少计算消耗。
10310编辑于 2026-05-30- 来自专栏AI+运维：智能化运维的未来
大模型技术在存储管理中的应用性：开创智能存储的新纪元
大模型技术（Large Model Technology）的兴起，为存储管理带来了新的契机。通过人工智能（AI）和机器学习（ML）技术，企业可以实现更加智能化、高效化和自动化的存储管理。 本文将详细介绍大模型技术在存储管理中的应用，涵盖环境配置、依赖安装、数据处理、智能存储管理模型构建和实际应用案例等内容。 项目概述本项目旨在使用Python构建一个基于大模型技术的智能存储管理系统，通过机器学习技术优化存储资源分配，提高数据访问效率，实现自动化存储管理。 总结通过本文的介绍，我们展示了如何使用Python构建一个基于大模型技术的智能存储管理系统。 希望本文能为读者提供有价值的参考，帮助实现基于大模型技术的智能存储管理系统的开发和应用。
44710编辑于 2024-12-30 - 来自专栏创作是最好的自我投资
通用大模型VS垂直大模型
在人工智能这个充满无限可能的领域内，通用大模型和垂直大模型各有千秋。就我个人而言，在二者之间的选择上，并不存在偏向某一方的倾向。我觉得应当依据实际应用场景的具体需求，来挑选最为契合的大模型。 通用大模型通用大模型，乃是旨在应对多种任务与数据类型的庞然大物级人工智能模型。 在知识覆盖的广度方面，通用大模型无疑具有明显的优势。当我们对于当下所需模型所涉及的精确专业领域的界限感到模糊不清时，选择通用大模型无疑是一种明智之举。垂直大模型接下来谈谈垂直大模型。 然而，由于垂直大模型的训练内容聚焦于当前行业，其涉猎的范围更集中，数据针对性更强，所以在提供专业咨询时往往更加精准、细致，这也正是垂直大模型的独特价值所在。 因此，对于通用大模型或者垂直大模型，更倾向于哪一方不取决于个人想法，而是取决于用户需要。
82901编辑于 2024-12-30 - 来自专栏小洁叫你mysql
【AI大模型】训练Al大模型
大模型超越AI 目前所指的大模型，是“大规模深度学习模型”的简称，指具有大量参数和复杂结构的机器学习模型，可以处理大规模的数据和复杂的问题，多应用于自然语言处理、计算机视觉、语音识别等领域。 本文将探讨大模型的概念、训练技术和应用领域，以及与大模型相关的挑战和未来发展方向。 大模型是指具有庞大参数数量的机器学习模型。传统的机器学习模型通常只有几百或几千个参数，而大模型则可能拥有数亿或数十亿个参数。 训练大模型的挑战 训练大模型需要应对一系列挑战，包括： 以下是与大模型相关的一些代码示例： 计算资源需求： import tensorflow as tf # 指定使用GPU进行训练 with tf.device 更智能的模型压缩技术：模型压缩和加速技术将继续发展，以减小大模型的计算和存储开销。 更好的计算平台支持：为了支持训练和部署大模型，计算平台将继续改进，提供更强大的计算资源和工具。
1.6K30编辑于 2023-10-10 - 来自专栏AI异构
SDAccel存储模型详解
通过上图可知，在OpenCL中提供的存储模型中，有如下几种Memory类型 Host Memory Host Memory指的是连接在主板上的内存条，仅供host进行数据读取。 On-Chip Memory On-Chip Memory 主要是采用FPGA中BRAM资源组成，具有随机存储和低延时的特点，但是资源有限。 On-Chip Global Memory ?
86530发布于 2020-07-29 - 来自专栏数据派THU
原创 | 大模型扫盲系列——初识大模型
为了提高模型的性能，研究者们不断尝试增加模型的参数数量，从而诞生了大模型这一概念。本文将从大模型的原理、训练过程、prompt和相关应用介绍等方面进行分析，帮助读者初步了解大模型。 为了提高模型的性能，研究者们不断尝试增加模型的参数数量，从而诞生了大模型这一概念。本文讨论的大模型将以平时指向比较多的大语言模型为例来进行相关介绍。 训练三步骤 初步认识了大模型长什么样了，接下来一起来看看如何训练出一个大模型。 除这些外还包括算法优化、隐私和数据安全以及模型可解释性等方面的研究和应用，每天还有很多大模型的应用正在不断涌现，大模型在未来仍然有很大的发展潜力，国内的优秀大模型代表例如百度文心大模型也正在搭建全系统产业化的大模型全景 大模型挑战 大模型也存在一些现实挑战： 1.数据安全隐患：一方面大模型训练需要大量的数据支持，但很多数据涉及到机密以及个人隐私问题，如客户信息、交易数据等。
21.3K29编辑于 2023-11-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号