- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI掘金志
华为AI存储「求解」大模型
存储厂商谁能抢先解耦大模型训练的痛点，谁就能占据高地，成为第一个吃螃蟹的人。 作者 | 南书 编辑 | 余快 比起大模型前台的火热，人们的注意力很少关注到产业链上游。 如今，国内千行百业涌起大模型热潮，进入“群魔共舞”时代，谁能做出中国版的ChatGPT尚且未知。 但训练大模型所需要的GPU和存储器，却迎来了一次新的扩容机会。 与数据相伴相生的存储器，在大模型的推动下，也正迎来一次技术革命和市场跃迁。 站在微观角度，企业研发大模型要经过以下几个阶段：数据归集、数据预处理、模型训练、推理应用，每个阶段都离不开存储。 在数据归集阶段，大模型所需要的数据量大且种类繁多。 OceanStor A310 是一款深度学习数据湖存储产品，可以为企业训练大模型提供从“数据归集、预处理到模型训练、推理”的存储支撑。
49930编辑于 2023-08-26 - 来自专栏人工智能极简应用
【AI大模型】Transformers大模型库（十六）：safetensors存储类型
一、引言 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 二、safetensors库 2.1 概述 safetensors是一个库，旨在安全地存储和加载机器学习模型的权重，特别是针对PyTorch模型。它通过加密和验证模型数据来增强安全性，防止数据篡改。 () # 保存模型到safetensors格式 save_file(model_state_dict, "model.safetensors") 对应的pytorch保存模型的方法 # 保存模型状态字典 .pth文件不同，它提供了额外的安全特性，特别是在模型的分发和共享方面 三、总结 本篇内容展示了如何使用safetensors库，主要功能旨在安全地存储和加载机器学习模型的权重，特别是针对PyTorch 模型。
4.4K10编辑于 2024-08-13 - 来自专栏大模型&AIGC
6种大模型微调技术
然而，这种方法会修改所有语言模型的参数，因此必须为每个任务存储完整的副本。在本文中，我们提出了前缀微调（prefix-tuning），这是一种针对自然语言生成任务的轻量级微调替代方案。 input和target，则使用原始的input embedding(5) 使用方式离散和连续template token混合时，显示地插入一下anchor（离散的token）有助于template的优化(6) （2）摘要提示微调（Prompt Tuning），该方法仅对冻结的语言模型中的连续提示进行微调，极大地减少了训练时每个任务的存储和内存使用。 ，无需verbalizer(4) 特点在小、大模型上，效果均优于P-tuning。 Model)，学习目标为而加入LoRA后，学习目标为：(6) 配置在多个部位$(Q/K/V/Output)$同时添加$\bigtriangleup W$ ，会比只在单一部分上添加权重$\bigtriangleup
2.9K00编辑于 2025-05-08 这届存储，为大模型而生！
大模型需要能打的算力和网络，还需要能打的存储。据测算，数据存储约占大模型训练整体工程量的20-30%。随着更多AIGC的产生，这个比例还在继续提升。今天，更适合大模型的云存储，来了！ 腾讯云的最新云存储解决方案，主打三个关键点：//更全面：覆盖大模型数据采集与清洗、模型训练、模型推理和内容治理等全流程的数据处理。//更能打：大模型数据清洗和训练耗时缩短一半。 - 模型训练环节：腾讯云高性能并行文件存储CFS Turbo，拥有四大核心技术，让GPU不会闲下来——1、并行客户端：支持一个客户端同时和多个服务端通过N条链路传输，提升访问速率（好比仓库开了多扇门，客户自己从仓库取货 目前，80%的头部大模型企业选择了这套云存储解决方案，包括右脑科技、百川智能、智谱、元象等明星大模型企业。 此前，腾讯云已经推出了大模型训练集群HCC、向量数据库、以及行业大模型服务MaaS等大模型全链路云服务。大模型将开创下一代云服务，我们也将继续为大模型加速落地，铺好路，架好桥。
71110编辑于 2024-04-08- 来自专栏腾讯云存储
面向大模型时代的云存储架构
沙龙活动中腾讯云存储研发总监严俊明分享了《面向大模型时代的云存储架构》的主题演讲。 据 OpenAI 研究显示，大模型的智能程度与算力、参数规模呈正相关。训练大模型所需的基础设施已达万卡级别，参数从亿级跃升至万亿级，大模型为存储带来巨大的机遇与挑战。 在大模型采集、清洗、训练、推理、“智”理等环节，对存储基础设施提出规模、性能、稳定等多维度的要求。 其中，核心矛盾是大模型的海量数据需求和极致性能需求之间的矛盾。 对此，严俊明表示，“大模型对存储的要求是既要、又要，既要海量低成本的存储引擎，同时又要很高的性能要求，然而企业实践的过程中，这两者往往很难兼顾。” 模型训练阶段，自研 GooseFS-X 高性能存储，提升大模型预训练效率；在分发阶段，通过 GooseFS AZ 加速器来提升大模型分发效率。 此外，腾讯云还提供一站式安全解决方案来保障数据内容安全。
50510编辑于 2025-04-30 - 来自专栏存储公众号：王知鱼
IMPRESS：大模型推理存储优化新突破
全文概览 大模型推理技术正广泛应用于聊天、搜索、代码生成等领域，但其高效运行面临关键挑战：用户提问常共享大量上下文知识，导致系统需频繁加载重复数据。 研究背景与问题 大模型推理的挑战：共享上下文导致重复数据加载，SSD-I/O成性能瓶颈。 现有方案局限：内存容量不足、缓存策略忽视键值重要性。 2. 研究背景与问题意识 大模型推理 大模型推理有海量应用场景，目前已应用于多个领域： 聊天（Chat）: ChatGPT 搜索（Search）: Perplexity 代码（Code）: Cursor 问答 预填充 KV 存储系统 共享的KV缓存数据能重复使用，并最终缩短模型推理过程的首Token响应时延。 Note FAST 25 很多论文都在讨论推理场景存储访问优化，其核心又集中在缓存管理机制，与早期大数据推荐系统的缓存管理相比，大模型的热数据管理，呈现出更大范围的随机性，全部数据加载是不切实际的。
1.3K10编辑于 2025-03-17 - 来自专栏6G
6G，AI , 与大模型?
6G与AI融合的未来方向 6G 网络的内生 AI 设计将赋能网络的AI大模型，同时使网络能够支持 AI 大模型的训练和服务。 另外，从小模型到大模型，生产效率跨越式提升基础通用大模型具有泛化性，网络智能化将从用例驱动转变为能力驱动，迅速降低应用开发门槛，加速 AI 工程化、规模化落地。 6G 网络将承担数据采集、预处理等数据服务，为云AI训练提供更好的支持。此外，6G 网络的分布式部署将使得 AI 大模型更靠近用户侧，从而在时延方面具有潜在优势。 在数据获取和处理方面，与 ChatGPT 不同，网络中存在大量结构化数据，且网络不同问题间的共性不清晰，网络 AI 大模型面临较大挑战。6G 网络面临如何有效采集适合AI大模型训练的数据的挑战。 而在构建 AI 大模型的路径上，需要分阶段探索，从离线小规模模型开始，逐步过渡到实时大规模模型，最终实现统一的网络 AI 大模型。 本文摘自于中国移动的“6G内生AI架构及AI大模”汇报材料。
47110编辑于 2024-04-24 - 来自专栏科技云报道
AI大模型疯长，存储扛住了吗？
网络方面，从之前的25G升级到现在的200G，网络带宽提升了6倍。随着RDMA大规模的应用，网络延迟也降低了60%。 存储方面，华为、阿里云、百度智能云、腾讯云等大厂，都相继推出了面向AI大模型的存储方案。 那么作为基础设施的三大件之一的存储，在AI大模型的场景下到底发生了哪些变化？又有哪些新的技术挑战？ 如果存储性能不强，那么可能需要耗费大量时间才能完成一次训练，这就会严重制约大模型的发展迭代。 事实上，不少企业在开发及实施大模型应用过程中，已经开始意识到存储系统所面临的巨大挑战。 总的来说，随着AI大模型的推进，数据存储出现了新的趋势。市场渴望更高性能、大容量、低成本的存储产品，并加速大模型各个环节的融合和效率提升。 而各大厂商也在通过技术创新不断满足大模型各环节的需求，为企业实施大模型降低门槛。 在AI大模型的倒逼下，存储创新已在路上。
60410编辑于 2024-04-18 大模型的2025：6个关键洞察
以下为卡帕西年度回顾全文：《2025年大语言模型年度回顾》2025年是大语言模型领域大步跨越且充满变数的一年。 通过在数学、代码谜题等大量可自动验证奖励的环境中训练大语言模型，模型会自发形成人类视角下近似“推理”的策略。 Cursor与大语言模型应用的新层级Cursor最引人关注的点（除了其2025年的爆发式增长），在于它清晰揭示了大语言模型应用的一个全新层级，人们开始普遍讨论“某领域的Cursor模式”。 2025 年，行业内围绕这一新应用层的“厚度”展开了大量讨论：大语言模型实验室是否会通吃所有应用场景？还是说垂直领域的大语言模型应用仍有广阔蓝海？ 我个人的观点是，大语言模型实验室更倾向于培育“通识能力极强的大学生”式模型，而大语言模型应用则通过整合私有数据、传感器、执行器及反馈闭环，对这些“大学生”进行针对性组织、微调，最终驱动它们成为特定垂直领域的
72110编辑于 2025-12-24- 来自专栏Alter聊科技
“烧钱”的大模型，如何迈过存储这道坎？
大模型训练的效率要达到极致，减少不必要的浪费，必须在数据上下功夫，准确地说，必须要在数据存储性能上进行创新。 一组Client测试数据印证了NFS+协议的路线正确：相较于传统的文件存储，训练样本小IO随机读性能提升了4倍以上，CheckPoint大文件切片+多路径传输提升了4-6倍的带宽能力，足以满足大模型训练的苛刻要求 03 数据存储进入到“大模型时代”某种程度上说，大模型训练催生的数据存储性能要求，不过是文件存储系统加速演变的一个侧面。 6倍、可靠性提升3倍，以极低的成本拥抱大模型训推浪潮。 无可否认的是，大模型正在从前台的“火热”，转向整个产业链条的协同驱动，数据存储正是其中的关键一环。
1.1K10编辑于 2023-08-30 - 来自专栏腾讯云存储
数据湖存储在大模型中的应用
本次巡展以“智算 开新局·创新机”为主题，腾讯云存储受邀分享数据湖存储在大模型中的应用，并在展区对腾讯云存储解决方案进行了全面的展示，引来众多参会者围观。 会中腾讯云高级产品经理林楠主要从大模型的发展回顾、对存储系统的挑战以及腾讯云存储在大模型领域中的解决方案等三个角度出发，阐述存储系统在大模型浪潮中可以做的事情。 为什么模型越来越大 对存储系统而言，通用型人工智能也属于应用的一种，那么了解大模型的应用机制和核心需求对存储系统的设计也至关重要。 大模型对存储系统的挑战 回顾GPT3的论文可以发现，大模型的整体框架中包括了数据的采集、清洗、预训练、微调、推理等多个阶段。 腾讯云存储在大模型领域中的解决方案 为了应对大模型的技术需求，腾讯云在IaaS、PaaS和SaaS等不同产品方向均提供了多样的技术支持手段，主要体现为三个“快”： 数据读取快：GooseFS数据加速，提供高性能存储
4.9K20编辑于 2023-11-01 CFS Turbo 大模型训练存储性能优化实践
数据来源： 2024腾讯全球数字生态大会，主讲人：杨飞 第一章：大模型训练引发的存储元数据瓶颈 随着大模型技术演进，训练数据集规模呈现爆发式增长，存储系统面临严峻的元数据管理挑战。 第二章：构建新一代元数据引擎与智能预读机制 针对大模型训练场景，CFS Turbo 采用了 新一代自适应条带化目录 技术与 智能预读策略 相结合的技术路径。 2.2 智能预读策略 (Intelligent Read-ahead Policy) 针对大模型训练（以混元DiT为例）中涉及的大量数据整理与转换操作（如 os.listdir, glob, find 优化后表现 性能提升倍数 Readdir 性能 - - 提升 55% 100万文件返回速度 30秒 1.4秒 8.6倍 第四章：混元DiT训练场景验证 在腾讯自研的 混元DiT (HunyuanDiT) 大模型训练实践中 实战验证： 方案已在腾讯 混元DiT 等千亿级大模型训练场景中得到验证，具备处理 百亿级 目录与 亿级 文件的工程成熟度。
11210编辑于 2026-05-30- 来自专栏MavenTalk
ChatGLM-6B大模型微调实战总结
上篇我们已经具备了 ChatGLM-6B 初步的运行环境，这为实现完全属于自己的模型奠定了基础（快速部署ChatGLM-6B大模型实战总结），接下来将针对模型进行微调，以便让它真正成为一个定制化智能助手 在这个过程中，我将直接使用官方的P-Tuning v2工具对ChatGLM-6B模型进行参数微调。 /THUDM/chatglm-6b \ # 加载模型文件地址 --output_dir output/adgen-chatglm-6b-pt-$PRE_SEQ_LEN-$LR \ # 保存训练模型文件地址 在实践中，我们使用了 ChatGLM-6B 模型，并经历了模型的训练和推理过程。训练模型消耗了相当多的时间，但也让我们体会到了模型训练的复杂性和挑战性。 —扩 展 阅 读— 正在发生或即将发生的AI大模型应用，立帖为证 ChatGPT、Claude和Bard，三足鼎立之势已成 WPS Office AI实战总结，智能化办公时代已来 你对 ChatGPT
4.2K43编辑于 2023-09-06 - 来自专栏猫头虎博客专区
ChatGLM-6B 大模型的前世今生
ChatGLM-6B 开源模型旨在与开源社区一起推动大模型技术发展，恳请开发者和大家遵守开源协议，勿将开源模型和代码及基于开源项目产生的衍生物用于任何可能给国家和社会带来危害的用途以及用于任何未经过安全评估和备案的服务 尽管模型在训练的各个阶段都尽力确保数据的合规性和准确性，但由于 ChatGLM-6B 模型规模较小，且模型受概率随机性因素影响，无法保证输出内容的准确性，且模型易被误导（详见局限性）。 ： 更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。 将模型下载到本地之后，将以上代码中的 THUDM/chatglm-6b 替换为你本地的 chatglm-6b 文件夹的路径，即可从本地加载模型。 Optional 模型的实现仍然处在变动中。 局限性 由于 ChatGLM-6B 的小规模，其能力仍然有许多局限性。以下是我们目前发现的一些问题： 模型容量较小：6B 的小容量，决定了其相对较弱的模型记忆和语言能力。
1.5K10编辑于 2024-04-08 - 来自专栏啄木鸟软件测试
多模态大模型技术原理及实战(6)
中小型公司大模型构建之路 如何选择 自己建立 二次开发 重新训练，消耗非常巨大 现有的大模型体系已经非常丰富 对话大模型已经白热化 •三天产生一个小应用 •两天产生一个新模型 中小公司的技术实力相对薄 微调 用 LoRA((Low-Rank Adaptation低秩适配) 2022年 Edward J.Hu PLM(Pre-trained Language Model 预训练语言模型) Redundancy Optimizer，ZeRO） •优化器状态分区(ZeRO-1） •梯度分区 (ZeRO-2） •参数分区(ZeRO-3) 压缩 剪枝 剪枝技术通过理结果产生重要影响，需要剔除冗余参数以提高模型训练效率 步骤 •1、训练一个原始模型，该模型具有较高的性能但运行速度较慢。 •2、确定哪些参数对输出结果的贡献较小，并将其设置为零。 •4、评估模型的大小、速度和效果等指标，如果不符合要求，那么继续进行剪枝操作直至满意为止。
33510编辑于 2024-09-10 - 来自专栏腾讯云存储
高性能存储与大模型融合创新相关研究
在2023年中国数据与存储峰会“AIGC+存储融合发展论坛”上，腾讯云存储高级产品经理熊建刚老师发表主题演讲，就高性能存储和大模型融合创新相关研究展开探讨，以及腾讯云存储的实践案例。 熊老师耕耘存储20年，在腾讯云从事云存储领域的高性能存储以及与大模型融合创新方面的研究工作，致力于推动云技术和人工智能的创新与发展。 一、存储技术与人工智能相结合：为AI应用提供高效、可扩展的数据存储和处理基础 以ChatGPT为代表大模型的参数呈现指数级增长，已超越人脑神经网络数量。 随着大模型的发展，对数据湖诉求进一步加强。 第一，更高的可靠性和可用性，避免存储的故障到算力资源的浪费。 ，面向大模型的加速网络；腾讯云端到端大模型解决方案，适配算力按需的供给，高速供给数据资源。
47710编辑于 2024-01-31 - 来自专栏大模型应用
大模型应用：大模型本地部署的磁盘空间优化：模型分片存储与按需加载.48
为了破解这一难题，模型分片存储与按需加载成为大模型本地部署磁盘空间优化的核心方案。 模型分片存储 把大模型的完整参数文件，切成若干个小的分片文件，就像把一整块蛋糕切成小块，分别放在不同的盘子里。 大模型的参数存储形式大模型的参数本质上是海量的数值矩阵，这些矩阵以二进制文件的形式保存在磁盘上，常见的格式有：.bin 格式：最常见的模型参数文件格式，直接存储二进制参数数据。. 核心步骤：模型分片处理：将大模型文件拆分为多个小分片，生成索引文件和配置存储位置判断：根据分片实际存储位置决定是否需要修改路径映射完整验证测试：通过三个验证环节确保分片模型可用性按需加载运行：实际使用时只加载需要的模型分片 同时 响应耗时：56.05 秒 ===== 测试案例 2 ===== 用户输入：解释什么是大模型分片存储 模型回复：在大数据处理和机器学习领域，"大模型分片存储"是一种将大型深度学习模型分割成多个小块
56444编辑于 2026-03-17 - 来自专栏机器学习炼丹术
小白学PyTorch | 6 模型的构建访问遍历存储（附代码）
文章目录： 1 模型构建函数 1.1 add_module 1.2 ModuleList 1.3 Sequential 1.4 小总结 2 遍历模型结构 2.1 modules() 2.2 named_modules 网络遍历：add_module,add_module 模型的保存与加载：add_module,add_module,add_module 1 模型构建函数 torch.nn.Module是所有网络的基类 ，在PyTorch实现模型的类中都要继承这个类（这个在之前的课程中已经提到）。 首先第一个输出的是最大的那个Module，也就是整个网络，0-Model整个网络模块； 1-2-3-4是网络的四个子模块，4-Sequential中间仍然包含子模块 5-6-7是模块4-Sequential 上面的方法是两者同时保存到了.pth文件中，当然，你也可以仅仅保存网络的参数来减小存储文件的大小。注意：如果你仅仅保存模型参数，那么在载入的时候，是需要通过运行代码来初始化模型的结构的。
1.6K40发布于 2020-09-14 - 来自专栏卓越笔记
软件质量模型的 6 大特性 27 个子特性
软件质量模型的 6 大特性 27 个子特性 一、功能性： 1、适合性：软件是否提供了相应的功能 2、准确性：软件提供的功能是否正确（用户需要的） 3、互操作性：产品与产品之间交互数据的能力
1.3K30编辑于 2023-02-18 - 来自专栏焱融科技
如何提升存储性能之IO模型和AIO大揭秘
如何提升存储系统的性能是一个对存储工程师们来说是永恒的大命题，解决这个问题并没有一击即中的银弹，IO性能的优化都在细节里。今天我们来讲一讲性能和IO模型之间的关系。 我们先从本地磁盘的IO模型说起。 在IO完成后的那次系统调用，系统会返回数据，这意味着IO可能已经完成了，但仍需应用再次主动请求，才能获得数据，所以会带了一些额外的延时，存储整体的延时性能差，且发生了多次内核和用户态之间的上下文切换，对延时要求高的应用一般不会采用该模型 例如顺序大IO，性能可能反而不如dio，这是因为buffer io要先写内存，再刷盘，而HDD或其它磁盘直接进行顺序IO性能可能更高；另外某些对数据可靠性要求比较高的场景中，写pagecache可能会有数据丢失的风险 03 分布式文件系统对AIO的支持及意义 对网络存储或者外部存储来说，客户端主要功能就是IO转发，所以客户端不涉及直接访问磁盘（IO访问模型，尤其是AIO的初衷，就是解决本地访问的问题），所以通常来说（ 尤其是对网络文件系统），类似GlusterFS等开源的分布式文件存储一般不会支持AIO。
2.1K22发布于 2020-11-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号