- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI掘金志
华为AI存储「求解」大模型
存储厂商谁能抢先解耦大模型训练的痛点，谁就能占据高地，成为第一个吃螃蟹的人。 作者 | 南书 编辑 | 余快 比起大模型前台的火热，人们的注意力很少关注到产业链上游。 如今，国内千行百业涌起大模型热潮，进入“群魔共舞”时代，谁能做出中国版的ChatGPT尚且未知。 但训练大模型所需要的GPU和存储器，却迎来了一次新的扩容机会。 与数据相伴相生的存储器，在大模型的推动下，也正迎来一次技术革命和市场跃迁。 站在微观角度，企业研发大模型要经过以下几个阶段：数据归集、数据预处理、模型训练、推理应用，每个阶段都离不开存储。 在数据归集阶段，大模型所需要的数据量大且种类繁多。 OceanStor A310 是一款深度学习数据湖存储产品，可以为企业训练大模型提供从“数据归集、预处理到模型训练、推理”的存储支撑。
49930编辑于 2023-08-26 - 来自专栏人工智能极简应用
【AI大模型】Transformers大模型库（十六）：safetensors存储类型
一、引言 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 二、safetensors库 2.1 概述 safetensors是一个库，旨在安全地存储和加载机器学习模型的权重，特别是针对PyTorch模型。它通过加密和验证模型数据来增强安全性，防止数据篡改。 () # 保存模型到safetensors格式 save_file(model_state_dict, "model.safetensors") 对应的pytorch保存模型的方法 # 保存模型状态字典 .pth文件不同，它提供了额外的安全特性，特别是在模型的分发和共享方面 三、总结 本篇内容展示了如何使用safetensors库，主要功能旨在安全地存储和加载机器学习模型的权重，特别是针对PyTorch 模型。
4.4K10编辑于 2024-08-13 这届存储，为大模型而生！
大模型需要能打的算力和网络，还需要能打的存储。据测算，数据存储约占大模型训练整体工程量的20-30%。随着更多AIGC的产生，这个比例还在继续提升。今天，更适合大模型的云存储，来了！ 腾讯云的最新云存储解决方案，主打三个关键点：//更全面：覆盖大模型数据采集与清洗、模型训练、模型推理和内容治理等全流程的数据处理。//更能打：大模型数据清洗和训练耗时缩短一半。 checkpoint的保存速度（顾客常买物品，不用去仓库，直接打开前置仓（缓存）就能拿到）；3、自适应条带化：智能分片把大文件切割成小文件同时并发写入，提升吞吐（对于超大件，智能拆包分片运输并自动还原）；4、 目前，80%的头部大模型企业选择了这套云存储解决方案，包括右脑科技、百川智能、智谱、元象等明星大模型企业。 此前，腾讯云已经推出了大模型训练集群HCC、向量数据库、以及行业大模型服务MaaS等大模型全链路云服务。大模型将开创下一代云服务，我们也将继续为大模型加速落地，铺好路，架好桥。
71110编辑于 2024-04-08- 来自专栏后台技术汇
大模型应用之（4）：Langchain架构与大模型接入
LangChain 为 LLM 及相关技术（如嵌入模型和向量存储）实现了标准接口，并与数百个 LLM 提供商集成。 Langchain架构 LangChain工具 组件：大模型包装器、聊天模型包装器、数据增强工具和接口链： 提供了标准接口，和数据平台和实际应用工具紧密集成 LangChain六大模块 模块 核心作用 Agent作为高级模块，可调用其他所有模块功能 大模型接入 接入示例 云服务和私有化大模型优劣对比 维度 开发成本 算力成本 运维成本 数据安全 云厂商大模型 较低，开箱即用 算力资源充足，大模型性能好 &吞吐量较高 较低，提供云平台监控 安全性低 私有化大模型 较高，自建大模型网关、服务鉴权、可用性等 算力硬件投入成本高，大模型性能较差低&吞吐量较低 较高，需要专业运维团队介入 安全性高，保密性强 小结： - 研发&测试环境：为了方便部署和测试，使用云服务 - 大客户生产环境：安全审核严格，大多数采用自建大模型的方式 总结 LangChain 是什么？
82010编辑于 2025-08-04 - 来自专栏腾讯云存储
面向大模型时代的云存储架构
4 月 20 日，由和腾讯云架构师技术同盟和腾讯云 TVP 联合主办的「AI 时代，程序员只剩架构师——腾讯云架构师技术沙龙」在北京召开。 沙龙活动中腾讯云存储研发总监严俊明分享了《面向大模型时代的云存储架构》的主题演讲。 据 OpenAI 研究显示，大模型的智能程度与算力、参数规模呈正相关。训练大模型所需的基础设施已达万卡级别，参数从亿级跃升至万亿级，大模型为存储带来巨大的机遇与挑战。 在大模型采集、清洗、训练、推理、“智”理等环节，对存储基础设施提出规模、性能、稳定等多维度的要求。 其中，核心矛盾是大模型的海量数据需求和极致性能需求之间的矛盾。 模型训练阶段，自研 GooseFS-X 高性能存储，提升大模型预训练效率；在分发阶段，通过 GooseFS AZ 加速器来提升大模型分发效率。 此外，腾讯云还提供一站式安全解决方案来保障数据内容安全。
50510编辑于 2025-04-30 - 来自专栏存储公众号：王知鱼
IMPRESS：大模型推理存储优化新突破
全文概览 大模型推理技术正广泛应用于聊天、搜索、代码生成等领域，但其高效运行面临关键挑战：用户提问常共享大量上下文知识，导致系统需频繁加载重复数据。 研究背景与问题 大模型推理的挑战：共享上下文导致重复数据加载，SSD-I/O成性能瓶颈。 现有方案局限：内存容量不足、缓存策略忽视键值重要性。 2. 研究背景与问题意识 大模型推理 大模型推理有海量应用场景，目前已应用于多个领域： 聊天（Chat）: ChatGPT 搜索（Search）: Perplexity 代码（Code）: Cursor 问答 预填充 KV 存储系统 共享的KV缓存数据能重复使用，并最终缩短模型推理过程的首Token响应时延。 Note FAST 25 很多论文都在讨论推理场景存储访问优化，其核心又集中在缓存管理机制，与早期大数据推荐系统的缓存管理相比，大模型的热数据管理，呈现出更大范围的随机性，全部数据加载是不切实际的。
1.3K10编辑于 2025-03-17 - 来自专栏科技云报道
AI大模型疯长，存储扛住了吗？
存储方面，华为、阿里云、百度智能云、腾讯云等大厂，都相继推出了面向AI大模型的存储方案。 那么作为基础设施的三大件之一的存储，在AI大模型的场景下到底发生了哪些变化？又有哪些新的技术挑战？ 2024年4月，腾讯云宣布云存储解决方案面向AIGC场景全面升级，针对AI大模型数据采集清洗、训练、推理、数据治理全流程提供全面、高效的云存储支持。 在模型训练环节，通常需要每2-4小时保存一次训练成果，以便能在GPU故障时时能回滚。 总的来说，随着AI大模型的推进，数据存储出现了新的趋势。市场渴望更高性能、大容量、低成本的存储产品，并加速大模型各个环节的融合和效率提升。 而各大厂商也在通过技术创新不断满足大模型各环节的需求，为企业实施大模型降低门槛。 在AI大模型的倒逼下，存储创新已在路上。
60410编辑于 2024-04-18 - 来自专栏大模型成长之路
【大模型学习 | MINIGPT-4原理】
MINIGPT-4: ENHANCING VISION-LANGUAGE UNDERSTANDING WITH ADVANCED LARGE LANGUAGE MODELS在GPT4未开源的情况下，作者认为其表现优越是因为采用了最为先进的 LLM模型，因此，作者在BLIP2的基础上，将LLM模型替换为了Vicuna，同样也是通过一个线性映射层将图像表征映射为LLM的输入。 开源代码：https://minigpt-4.github.io/一、预训练方法预训练方法几乎和BLIP2模型一致，可以参考：【大模型学习 | BLIP2原理】-腾讯云开发者社区-腾讯云1.1 Q-Former ； MINI-GPT4表现比BLIP2要强上许多？ ① MiniGPT-4 使用的是 Vicuna（基于 LLaMA 的开源 ChatGPT 对话模型），具有更强的自然语言表达和指令理解能力；而BLIP-2 使用的 LLM 主要是 Flan-T5 或 OPT
77110编辑于 2025-07-02 - 来自专栏Alter聊科技
“烧钱”的大模型，如何迈过存储这道坎？
坊间传闻，GPT-4的训练成本高达10亿美元，想要让大模型释放出应有的“魔法”，“涌现”出对答如流的能力，需要一只“独角兽”的前期投入。 大模型训练的效率要达到极致，减少不必要的浪费，必须在数据上下功夫，准确地说，必须要在数据存储性能上进行创新。 一组Client测试数据印证了NFS+协议的路线正确：相较于传统的文件存储，训练样本小IO随机读性能提升了4倍以上，CheckPoint大文件切片+多路径传输提升了4-6倍的带宽能力，足以满足大模型训练的苛刻要求 03 数据存储进入到“大模型时代”某种程度上说，大模型训练催生的数据存储性能要求，不过是文件存储系统加速演变的一个侧面。 无可否认的是，大模型正在从前台的“火热”，转向整个产业链条的协同驱动，数据存储正是其中的关键一环。
1.1K10编辑于 2023-08-30 - 来自专栏腾讯云存储
数据湖存储在大模型中的应用
本次巡展以“智算 开新局·创新机”为主题，腾讯云存储受邀分享数据湖存储在大模型中的应用，并在展区对腾讯云存储解决方案进行了全面的展示，引来众多参会者围观。 会中腾讯云高级产品经理林楠主要从大模型的发展回顾、对存储系统的挑战以及腾讯云存储在大模型领域中的解决方案等三个角度出发，阐述存储系统在大模型浪潮中可以做的事情。 为什么模型越来越大 对存储系统而言，通用型人工智能也属于应用的一种，那么了解大模型的应用机制和核心需求对存储系统的设计也至关重要。 大模型对存储系统的挑战 回顾GPT3的论文可以发现，大模型的整体框架中包括了数据的采集、清洗、预训练、微调、推理等多个阶段。 腾讯云存储在大模型领域中的解决方案 为了应对大模型的技术需求，腾讯云在IaaS、PaaS和SaaS等不同产品方向均提供了多样的技术支持手段，主要体现为三个“快”： 数据读取快：GooseFS数据加速，提供高性能存储
4.9K20编辑于 2023-11-01 - 来自专栏算法一只狗
LLama4 原生多模态大模型
Meta最新发布了原生多模态大模型 Llama 4，一经亮相即登上LMSYS大模型排行榜第二名，仅次于Google的Gemini-2.5-pro，分差仅为22分，实力可见一斑。 在模型规模方面，Llama 4系列的确非常庞大，尤其是Behemoth模型，远超业内主流，例如DeepSeek R1参数量仅为6710亿，只有Behemoth的约三分之一。 当前行业趋势多偏向小而高效的模型，Llama 4如此庞大的规模实属少见。 总结与展望Llama 4的发布，意味着Meta正式进入原生多模态大模型竞争核心领域。 相比Gemini系列、GPT-4o、Claude 3、DeepSeek等主流模型，Llama 4以务实高效的技术路线，突出计算成本、推理效率与多模态能力的平衡。
88000编辑于 2025-05-01 CFS Turbo 大模型训练存储性能优化实践
数据来源： 2024腾讯全球数字生态大会，主讲人：杨飞 第一章：大模型训练引发的存储元数据瓶颈 随着大模型技术演进，训练数据集规模呈现爆发式增长，存储系统面临严峻的元数据管理挑战。 第二章：构建新一代元数据引擎与智能预读机制 针对大模型训练场景，CFS Turbo 采用了 新一代自适应条带化目录 技术与 智能预读策略 相结合的技术路径。 2.2 智能预读策略 (Intelligent Read-ahead Policy) 针对大模型训练（以混元DiT为例）中涉及的大量数据整理与转换操作（如 os.listdir, glob, find 优化后表现 性能提升倍数 Readdir 性能 - - 提升 55% 100万文件返回速度 30秒 1.4秒 8.6倍 第四章：混元DiT训练场景验证 在腾讯自研的 混元DiT (HunyuanDiT) 大模型训练实践中 实战验证： 方案已在腾讯 混元DiT 等千亿级大模型训练场景中得到验证，具备处理 百亿级 目录与 亿级 文件的工程成熟度。
11210编辑于 2026-05-30- 来自专栏腾讯云存储
高性能存储与大模型融合创新相关研究
在2023年中国数据与存储峰会“AIGC+存储融合发展论坛”上，腾讯云存储高级产品经理熊建刚老师发表主题演讲，就高性能存储和大模型融合创新相关研究展开探讨，以及腾讯云存储的实践案例。 熊老师耕耘存储20年，在腾讯云从事云存储领域的高性能存储以及与大模型融合创新方面的研究工作，致力于推动云技术和人工智能的创新与发展。 站在业务角度，把整个大模型分为以下几个主要阶段，1）数据注入，方式有多种，来满足大模型需要各种语料的注入；2）数据预处理，常见的批注，结构化的处理；3）训练和精调，一轮训练跑下来是比较费成本；4）推理， 随着大模型的发展，对数据湖诉求进一步加强。 第一，更高的可靠性和可用性，避免存储的故障到算力资源的浪费。 ，面向大模型的加速网络；腾讯云端到端大模型解决方案，适配算力按需的供给，高速供给数据资源。
47710编辑于 2024-01-31 - 来自专栏啄木鸟软件测试
多模态大模型技术原理与实战(4)
多模态大模型核心技术 1多模态的困难 困难 数据集标志困难 人工标注生成 COCO Visual Genome ... OpenAl的DALL-E2和GPT4 谷歌大脑的 lmaen和Stable Diffusion 百度的文心一言 文本生成图像 基于GAN的文本生成图像方法 AlignDRAW:第一个现代文本生成图像模型 图像解码器 把隐信息还原成图像 4语音多模态技术 文本生成语音 以前技术：拼接法和参数法 基于非深度学习的文本生成语音技术 隐马尔可夫模型 (HMM) 文本信息提取模块 声学特征提取模块 可调整的低秩适配(Adaptive Low-Rank Adaptation，AdaLoRA)技术和量化压缩远程注意力(Quantized Long-Range Attention，QLoRA)技术 8 GPT-4多模型核心技术介绍 Transformer：编码器-解码器框架 编码器：衍生出了自编码大模型，如BERT、RoBERT和ALBERT 解码器：衍生出了自回归大模型,如GPT-1和GPT-2 整体衍生出：T5和GLM
51810编辑于 2024-09-10 - 来自专栏大模型应用
大模型应用：大模型本地部署的磁盘空间优化：模型分片存储与按需加载.48
为了破解这一难题，模型分片存储与按需加载成为大模型本地部署磁盘空间优化的核心方案。 模型分片存储 把大模型的完整参数文件，切成若干个小的分片文件，就像把一整块蛋糕切成小块，分别放在不同的盘子里。 大模型的参数存储形式大模型的参数本质上是海量的数值矩阵，这些矩阵以二进制文件的形式保存在磁盘上，常见的格式有：.bin 格式：最常见的模型参数文件格式，直接存储二进制参数数据。. 核心步骤：模型分片处理：将大模型文件拆分为多个小分片，生成索引文件和配置存储位置判断：根据分片实际存储位置决定是否需要修改路径映射完整验证测试：通过三个验证环节确保分片模型可用性按需加载运行：实际使用时只加载需要的模型分片 同时 响应耗时：56.05 秒 ===== 测试案例 2 ===== 用户输入：解释什么是大模型分片存储 模型回复：在大数据处理和机器学习领域，"大模型分片存储"是一种将大型深度学习模型分割成多个小块
56444编辑于 2026-03-17 - 来自专栏焱融科技
如何提升存储性能之IO模型和AIO大揭秘
如何提升存储系统的性能是一个对存储工程师们来说是永恒的大命题，解决这个问题并没有一击即中的银弹，IO性能的优化都在细节里。今天我们来讲一讲性能和IO模型之间的关系。 我们先从本地磁盘的IO模型说起。 在IO完成后的那次系统调用，系统会返回数据，这意味着IO可能已经完成了，但仍需应用再次主动请求，才能获得数据，所以会带了一些额外的延时，存储整体的延时性能差，且发生了多次内核和用户态之间的上下文切换，对延时要求高的应用一般不会采用该模型 例如顺序大IO，性能可能反而不如dio，这是因为buffer io要先写内存，再刷盘，而HDD或其它磁盘直接进行顺序IO性能可能更高；另外某些对数据可靠性要求比较高的场景中，写pagecache可能会有数据丢失的风险 03 分布式文件系统对AIO的支持及意义 对网络存储或者外部存储来说，客户端主要功能就是IO转发，所以客户端不涉及直接访问磁盘（IO访问模型，尤其是AIO的初衷，就是解决本地访问的问题），所以通常来说（ 尤其是对网络文件系统），类似GlusterFS等开源的分布式文件存储一般不会支持AIO。
2.1K22发布于 2020-11-13 - 来自专栏腾讯云存储
TStor CSP文件存储在大模型训练中的实践
比如聚焦在大模型平台的存储领域，如何管理海量的大模型训练物料、如何提升存储系统的性能、如何做好数据安全和信息合规等等，这些问题已成为领域内的火热话题，也成为了国内大模型工程领域能否更上一层楼的关键因素。 本文围绕了大模型训练的存储场景，分享TStor CSP作为腾讯内外部大模型训练场景的存储底座的心得和最佳实践。 TStor CSP大模型存储解决方案架构 在大模型预训练阶段，工程平台会围绕海量语料从零开始进行无监督的训练，通过迭代N个epoch从而得到一个基座大模型；业务通过对基座模型进行有监督的微调得到满足业务场景的专业模型 在大模型系统中同样如此，存储系统的IO中断或数据丢失会直接影响模型训练效果，严重者会导致近几个epoch任务需要推倒重做，大大影响了业务效率。 【图4.
2.6K20编辑于 2023-11-01 - 来自专栏技术杂记
Mysql 优化存储4
恢复备份 优化完成后，立刻恢复备份 start slave; 通过对比前后数据文件大小，可以明显看到优化效果 一般少也能缩减5%的空间，平均在10%左右，我自己经历最明显效果的是减少了32%的空间，对于一个大库来说
45120编辑于 2022-03-21 - 来自专栏【腾讯云开发者】
腾讯混元大模型·4月产品动态
作为腾讯全链路自研的大模型，自2023年9月公开亮相以来，腾讯混元大模型共经历了数十次迭代，支持内部超过400个业务和场景接入，并通过腾讯云面向企业和个人开发者全面开放（API个人权益与企业客户一致，已实名腾讯云账号提供累计
61640编辑于 2024-04-28 - 来自专栏自然语言处理(NLP)论文速递
猛犸象大模型！MAmmoTH：目前最好的开源、通用数学大模型，现已超过GPT-4！
引言 大型语言模型 (LLM)的数学推理能力是评估大模型能力的一项关键指标。 尽管目前很多大型语言模型(LLMs)在该领域取得了一定的进展，但与闭源的大模型相比，开源大模型的数学推理能力仍然有很大差距。 (LLM)的数学推理能力是评估大模型能力的一项关键指标。 尽管该领域取得了一定的进展，但是开源大模型和闭源大模型之间仍然存在明显的差距。 目前一些比较流行的闭源LLM主要包括：GPT-4、PaLM-2、 Claude2，它们在主流的GSM8K、MATH数据集上面占据着了主导地位；而Llama、Falcon、OPT等开源大模型在所有基准上都大幅落后
1.8K20编辑于 2023-09-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号