- 综合排序
- 最热优先
- 最新优先
- 来自专栏BestSDK
10大云存储平台技巧
IoT最佳存储系统 由于对象存储的无限扩展架构和持久的性质，它非常适合处理通过IoT文件积累的PB级的非结构化数据。对于云的主要选择，对象存储可以用于私有、公有和混合云平台。 通过将被动数据迁移到较低的存储层，混合云平台可以清理急需的存储空间，否则可能会被很少访问的数据浪费。 对象存储网关可能不适用数据迁移 简化数据向对象存储的迁移，网关看起是一种方法，但它却不是最好的方法。尽管网关可以在数据迁移中减少存储的消费，但实际上，相比于其它的数据迁移项目，它的步骤没有那么少。 使用标准文件或块接口，对象存储网关仍然需要32到34个人工步骤来迁移文件和存储块。 伴随着劳动密集型流程，对象存储网关可能会让你将数据保护过程复杂化。 分层和快照是需要考虑的两个功能，以及服务提供商与存储组合供应商密切合作关系。 对DRaaS要求更多 评估DRaaS供应商时，请确定数据的存储方式。
2.7K60发布于 2018-03-02 - 来自专栏AI掘金志
华为AI存储「求解」大模型
存储厂商谁能抢先解耦大模型训练的痛点，谁就能占据高地，成为第一个吃螃蟹的人。 作者 | 南书 编辑 | 余快 比起大模型前台的火热，人们的注意力很少关注到产业链上游。 与数据相伴相生的存储器，在大模型的推动下，也正迎来一次技术革命和市场跃迁。 站在微观角度，企业研发大模型要经过以下几个阶段：数据归集、数据预处理、模型训练、推理应用，每个阶段都离不开存储。 在数据归集阶段，大模型所需要的数据量大且种类繁多。 这个窗口关系着用户体验，因此对于大模型的响应时间要求非常之高。 以ChatGPT为例，在一些简单的问题上，用户提问得到回答的平均时间在10s以内。 OceanStor A310 是一款深度学习数据湖存储产品，可以为企业训练大模型提供从“数据归集、预处理到模型训练、推理”的存储支撑。
49930编辑于 2023-08-26 - 来自专栏人工智能极简应用
【AI大模型】Transformers大模型库（十六）：safetensors存储类型
一、引言 这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测、训练等服务。 二、safetensors库 2.1 概述 safetensors是一个库，旨在安全地存储和加载机器学习模型的权重，特别是针对PyTorch模型。它通过加密和验证模型数据来增强安全性，防止数据篡改。 () # 保存模型到safetensors格式 save_file(model_state_dict, "model.safetensors") 对应的pytorch保存模型的方法 # 保存模型状态字典 .pth文件不同，它提供了额外的安全特性，特别是在模型的分发和共享方面 三、总结 本篇内容展示了如何使用safetensors库，主要功能旨在安全地存储和加载机器学习模型的权重，特别是针对PyTorch 模型。
4.4K10编辑于 2024-08-13 这届存储，为大模型而生！
大模型需要能打的算力和网络，还需要能打的存储。据测算，数据存储约占大模型训练整体工程量的20-30%。随着更多AIGC的产生，这个比例还在继续提升。今天，更适合大模型的云存储，来了！ 腾讯云的最新云存储解决方案，主打三个关键点：//更全面：覆盖大模型数据采集与清洗、模型训练、模型推理和内容治理等全流程的数据处理。//更能打：大模型数据清洗和训练耗时缩短一半。 以3TB大小的 Checkpoint 为例，写入能从10分钟瞬间缩短至10秒内。在GPU发生故障时，能大幅降低对训练时长的影响。 目前，80%的头部大模型企业选择了这套云存储解决方案，包括右脑科技、百川智能、智谱、元象等明星大模型企业。 此前，腾讯云已经推出了大模型训练集群HCC、向量数据库、以及行业大模型服务MaaS等大模型全链路云服务。大模型将开创下一代云服务，我们也将继续为大模型加速落地，铺好路，架好桥。
71110编辑于 2024-04-08- 来自专栏腾讯云存储
面向大模型时代的云存储架构
沙龙活动中腾讯云存储研发总监严俊明分享了《面向大模型时代的云存储架构》的主题演讲。 据 OpenAI 研究显示，大模型的智能程度与算力、参数规模呈正相关。训练大模型所需的基础设施已达万卡级别，参数从亿级跃升至万亿级，大模型为存储带来巨大的机遇与挑战。 在大模型采集、清洗、训练、推理、“智”理等环节，对存储基础设施提出规模、性能、稳定等多维度的要求。 其中，核心矛盾是大模型的海量数据需求和极致性能需求之间的矛盾。 对此，严俊明表示，“大模型对存储的要求是既要、又要，既要海量低成本的存储引擎，同时又要很高的性能要求，然而企业实践的过程中，这两者往往很难兼顾。” 模型训练阶段，自研 GooseFS-X 高性能存储，提升大模型预训练效率；在分发阶段，通过 GooseFS AZ 加速器来提升大模型分发效率。 此外，腾讯云还提供一站式安全解决方案来保障数据内容安全。
50510编辑于 2025-04-30 - 来自专栏存储公众号：王知鱼
IMPRESS：大模型推理存储优化新突破
全文概览 大模型推理技术正广泛应用于聊天、搜索、代码生成等领域，但其高效运行面临关键挑战：用户提问常共享大量上下文知识，导致系统需频繁加载重复数据。 研究背景与问题 大模型推理的挑战：共享上下文导致重复数据加载，SSD-I/O成性能瓶颈。 现有方案局限：内存容量不足、缓存策略忽视键值重要性。 2. 研究背景与问题意识 大模型推理 大模型推理有海量应用场景，目前已应用于多个领域： 聊天（Chat）: ChatGPT 搜索（Search）: Perplexity 代码（Code）: Cursor 问答 预填充 KV 存储系统 共享的KV缓存数据能重复使用，并最终缩短模型推理过程的首Token响应时延。 Note FAST 25 很多论文都在讨论推理场景存储访问优化，其核心又集中在缓存管理机制，与早期大数据推荐系统的缓存管理相比，大模型的热数据管理，呈现出更大范围的随机性，全部数据加载是不切实际的。
1.3K10编辑于 2025-03-17 - 来自专栏技术趋势
windows10搭建llama大模型
背景 随着人工时代的到来及日渐成熟，大模型已慢慢普及，可以为开发与生活提供一定的帮助及提升工作及生产效率。所以在新的时代对于开发者来说需要主动拥抱变化，主动成长。 LLAMA介绍 llama全称：Large Language Model Meta AI是由meta（原facebook）开源的一个聊天对话大模型。 ~all~sobaiduend~default-1-106591160-null-null.142^v88^control,239^v2^insert_chatgpt&utm_term=windows10% Linux图： 下载羊驼模型（有点大） 先建一个文件夹：path_to_original_llama_root_dir 在里面再建一个7B文件夹并把tokenizer.model挪进来。 -f prompts/alpaca.txt -ins -c 2048 --temp 0.2 -n 256 --repeat_penalty 1.3 结果 最后 我知道很多同学可能觉得学习大模型需要懂
1.6K30编辑于 2023-09-12 - 来自专栏全栈程序员必看
弹出USB大容量存储设备时出问题_win10无usb大容量存储
本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
1.5K20编辑于 2022-11-08 - 来自专栏科技云报道
AI大模型疯长，存储扛住了吗？
存储方面，华为、阿里云、百度智能云、腾讯云等大厂，都相继推出了面向AI大模型的存储方案。 那么作为基础设施的三大件之一的存储，在AI大模型的场景下到底发生了哪些变化？又有哪些新的技术挑战？ 与传统单模态小模型训练相比，多模态大模型所需的训练数据量是其1000倍以上，一个典型的百TB级大模型数据集，预处理时长超过10天，占比AI数据挖掘全流程的30%。 3TB checkpoint 写入时间从10分钟，缩短至10秒内，使大模型训练效率大幅提升。 大模型推理场景对数据安全与可追溯性提出更高要求。 总的来说，随着AI大模型的推进，数据存储出现了新的趋势。市场渴望更高性能、大容量、低成本的存储产品，并加速大模型各个环节的融合和效率提升。 而各大厂商也在通过技术创新不断满足大模型各环节的需求，为企业实施大模型降低门槛。 在AI大模型的倒逼下，存储创新已在路上。
60410编辑于 2024-04-18 - 来自专栏深度学习与python
稳定且高性价比的大模型存储：携程 10PB 级 JuiceFS 工程实践
目前，携程通过 JuiceFS 管理着 10PB 数据规模，为 AI 训练等多个场景提供存储服务。 随着 AI 应用的需求变化，尤其是在 AI 模型训练过程中，存储需求开始转向大带宽读写和频繁的写入操作，如模型的 checkpoint 保存、数据分发及存储等。 ，这使得它在大部分应用场景中表现出色，尤其是在大模型推理应用中。 大模型推理应用通常需要高带宽的顺序读取场景。 Q&A Q：大模型对于存储的主要需求是什么，还是只关注性价比？ A：在大模型场景中，我们最关心的是顺序读写带宽。训练过程涉及训练数据和模型的加载，以及检查点（checkpoint）的写入。
68010编辑于 2025-03-12 - 来自专栏Alter聊科技
“烧钱”的大模型，如何迈过存储这道坎？
坊间传闻，GPT-4的训练成本高达10亿美元，想要让大模型释放出应有的“魔法”，“涌现”出对答如流的能力，需要一只“独角兽”的前期投入。 大模型训练的效率要达到极致，减少不必要的浪费，必须在数据上下功夫，准确地说，必须要在数据存储性能上进行创新。 03 数据存储进入到“大模型时代”某种程度上说，大模型训练催生的数据存储性能要求，不过是文件存储系统加速演变的一个侧面。 直到今天，文件存储的需求仍在不断更新，文件系统的创新也在持续发生，就像大模型训练需求所折射出的演进方向。 无可否认的是，大模型正在从前台的“火热”，转向整个产业链条的协同驱动，数据存储正是其中的关键一环。
1.1K10编辑于 2023-08-30 - 来自专栏腾讯云存储
数据湖存储在大模型中的应用
本次巡展以“智算 开新局·创新机”为主题，腾讯云存储受邀分享数据湖存储在大模型中的应用，并在展区对腾讯云存储解决方案进行了全面的展示，引来众多参会者围观。 会中腾讯云高级产品经理林楠主要从大模型的发展回顾、对存储系统的挑战以及腾讯云存储在大模型领域中的解决方案等三个角度出发，阐述存储系统在大模型浪潮中可以做的事情。 为什么模型越来越大 对存储系统而言，通用型人工智能也属于应用的一种，那么了解大模型的应用机制和核心需求对存储系统的设计也至关重要。 大模型对存储系统的挑战 回顾GPT3的论文可以发现，大模型的整体框架中包括了数据的采集、清洗、预训练、微调、推理等多个阶段。 腾讯云存储在大模型领域中的解决方案 为了应对大模型的技术需求，腾讯云在IaaS、PaaS和SaaS等不同产品方向均提供了多样的技术支持手段，主要体现为三个“快”： 数据读取快：GooseFS数据加速，提供高性能存储
4.9K20编辑于 2023-11-01 - 来自专栏喔家ArchiSelf
大模型应用设计的10个思考
技术不是万能的，但没有技术却可能是万万不能的，对于大模型可能也是如此。 基于大模型的应用设计需要聚焦于所解决的问题，在自然语言处理领域，大模型本身在一定程度上只是将各种NLP任务统一成了sequence 到 sequence 的模型。 利用大模型， 我们是在解决具体的生产和生活中的问题，产品和技术上的设计仍然不可或缺。 那么，如果大模型正在重新构建软件工程的未来，我们是否应该遵循一些基本原则呢？ 1. 因此，只要我们对模型进行适当的控制和引导，它就能成为我们工作中得力的“助手”。而这种控制的基础，就是我们对模型内部机制和特点的深入了解和掌握。 10. 因此，我们在使用大模型时，应该保持理性和谨慎的态度，既要欣赏它们所带来的便利和进步，也要警惕它们的局限性和潜在风险。这样，才能更好地利用这些模型，推动基于大模型应用的健康发展。
64110编辑于 2023-12-04 - 来自专栏喔家ArchiSelf
大模型应用的10个架构挑战
基于笔者近年来的探索与实践，这里列举了面向大模型应用系统架构设计的10个挑战。 1. 生产环境的挑战——推理框架的选择 对于大模型应用而言，生成环境的运行时是一个推理架构。 为了确保LLM模型和数据的安全，需要考虑以下问题： 保护LLM模型和数据：这包括实施访问控制、加密和安全数据存储，以防止未经授权的访问LLM模型和数据。 尽管我们已经有了一些探索，例如《大模型应用的10个架构模式》(https://mp.weixin.qq.com/s? 适用性挑战——大模型的应用边界 大模型在人工智能领域确实展现出了强大的能力，它们在各种控制平面和应用场景中都发挥着重要作用。然而，尽管大模型的应用范围广泛，但并不意味着它们是无所不能的。 虽然大模型在人工智能领域具有广泛的应用前景，但并不是所有场景都适合使用大模型。在设计系统架构时，我们需要根据具体需求和技术挑战来判断是否需要引入大模型，以确保系统的高效性和可靠性。 10.
1.2K10编辑于 2024-12-24 - 来自专栏机器学习/数据可视化
机器学习分类模型10大评价指标
公众号：尤而小屋作者：Peter编辑：Peter大家好，我是Peter~机器学习分类模型的评价指标是在衡量模型在未知数据集上的性能表现，通常基于混淆矩阵和相关的评价指标。 样本的真实类别是负类，但模型将其识别为正类。True Negative（TN）：真负类。样本的真实类别是负类，并且模型将其识别为负类。 ，精确率越高，表示模型越好。 ，也就是说精确率是模型在某个类别上的判断。 下图是来自维基百科对ROC-AUC的解释：图片通过对分类阈值$\theta$（默认情况下是0.5，范围是0到1）从大到小或者从小到大排列，就可以得到多组TPR和FPR的取值，在二维坐标系中绘制出来就可以得到一条
1.6K10编辑于 2023-10-13 CFS Turbo 大模型训练存储性能优化实践
数据来源： 2024腾讯全球数字生态大会，主讲人：杨飞 第一章：大模型训练引发的存储元数据瓶颈 随着大模型技术演进，训练数据集规模呈现爆发式增长，存储系统面临严峻的元数据管理挑战。 第二章：构建新一代元数据引擎与智能预读机制 针对大模型训练场景，CFS Turbo 采用了 新一代自适应条带化目录 技术与 智能预读策略 相结合的技术路径。 2.2 智能预读策略 (Intelligent Read-ahead Policy) 针对大模型训练（以混元DiT为例）中涉及的大量数据整理与转换操作（如 os.listdir, glob, find 优化后表现 性能提升倍数 Readdir 性能 - - 提升 55% 100万文件返回速度 30秒 1.4秒 8.6倍 第四章：混元DiT训练场景验证 在腾讯自研的 混元DiT (HunyuanDiT) 大模型训练实践中 实战验证： 方案已在腾讯 混元DiT 等千亿级大模型训练场景中得到验证，具备处理 百亿级 目录与 亿级 文件的工程成熟度。
11210编辑于 2026-05-30- 来自专栏大模型应用
大模型应用：大模型性能评估指标：CLUE任务与数据集详解.10
，应运而生，它就像一把精准的尺子，为中文大模型的性能评估提供了标准化方案。 同样，没有CLUE这样的基准，我们也难以比较不同大模型的优劣。CLUE不仅填补了中文自然语言处理评估的空白，更为模型研发提供了明确的方向指引。二. CLUE基准概述1. label] = metrics['f1-score'] if f1_scores: labels = list(f1_scores.keys())[:10 : 完整的评估流程8.2 完整的评估指标准确率、精确率、召回率、F1分数精确匹配率（阅读理解）NER任务的序列标注指标置信度分析七、总结 CLUE基准作为中文大模型评估的重要标准，不仅为技术发展提供了明确的导向 随着人工智能技术的不断演进，CLUE基准也将持续完善，更好地服务于大模型的研发和应用。 正如一句古语所说："工欲善其事，必先利其器。"CLUE基准就是我们评估和提升大模型能力的利器。
56532编辑于 2026-02-07 - 来自专栏腾讯云存储
高性能存储与大模型融合创新相关研究
在2023年中国数据与存储峰会“AIGC+存储融合发展论坛”上，腾讯云存储高级产品经理熊建刚老师发表主题演讲，就高性能存储和大模型融合创新相关研究展开探讨，以及腾讯云存储的实践案例。 熊老师耕耘存储20年，在腾讯云从事云存储领域的高性能存储以及与大模型融合创新方面的研究工作，致力于推动云技术和人工智能的创新与发展。 一、存储技术与人工智能相结合：为AI应用提供高效、可扩展的数据存储和处理基础 以ChatGPT为代表大模型的参数呈现指数级增长，已超越人脑神经网络数量。 随着大模型的发展，对数据湖诉求进一步加强。 第一，更高的可靠性和可用性，避免存储的故障到算力资源的浪费。 ，面向大模型的加速网络；腾讯云端到端大模型解决方案，适配算力按需的供给，高速供给数据资源。
47710编辑于 2024-01-31 - 来自专栏对白的算法屋
AI 大模型创业的 10 个灵魂拷问
下面就这 10 个灵魂拷问，分享一些我自己的观点。 做不做基础大模型？ 如果做基础大模型，需要上亿美金的前期投入，如何融到这么多资，如何招到靠谱的算法、数据和 infra 团队？ 但这样的模型推理成本会很高，就像现在 GPT-4 读一篇论文要 10 美金，只有高净值客户和探索科学前沿的场景才消费得起。 推理性能优化的空间更大，因为 Transformer 的结构，很多场景下有效算力只有 10%~20%。如果做 batching，时延和带宽又会成为 trade-off。 我认为，大模型本身的智商固然重要，大模型与外部环境交互的能力和大模型之间协作的组织结构才能让大模型走得更远。 第一，如果读一篇论文还是像 GPT-4 那样需要 10 美金，生成一段 7.5 分钟的视频还是像 Runway ML 一样需要 95 美金，大多数人就不可能用得起大模型。
67330编辑于 2023-09-01 - 来自专栏TechLead
大模型应用曙光 - 10X压缩技术
拥有10+年AI领域研究经验、复旦机器人智能实验室成员，国家级大学生赛事评审专家，发表多篇SCI核心期刊学术论文，上亿营收AI产品研发负责人。 如何在不牺牲性能的情况下将大语言模型缩小十倍？ 虽然这仍然是目前的趋势，但处理1000亿以上参数的模型显然存在挑战。例如，一个具有1000亿参数的模型仅在FP16格式下存储就需要200GB的空间！ 不用说，大多数消费设备（如手机、平板电脑、笔记本电脑）无法处理如此庞大的模型。但……如果我们可以让模型变小呢？ 模型压缩 模型压缩旨在在不牺牲性能的前提下减少机器学习模型的大小。 量化——使用更低精度的数据类型表示模型 剪枝——从模型中删除不必要的组件 知识蒸馏——通过较大的模型训练较小的模型 _注意_：这些方法是相互独立的。 towards-data-science/qlora-how-to-fine-tune-an-llm-on-a-single-gpu-4e44d6b5be32 论文中描述的4位NormalFloat数据类型存储模型参数
51810编辑于 2024-09-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号