- 综合排序
- 最热优先
- 最新优先
腾讯云CFS Turbo：面向AI大模型的高性能并行文件存储
一、产品定位与核心亮点 腾讯云CFS Turbo是腾讯云推出的IaaS层AI存储产品，专为大模型、自动驾驶、高性能计算等高强度、大规模分析场景设计。 其核心技术属性为高性能并行文件存储，核心商业差异化卖点在于提供完整的POSIX语义支持和HDFS接口双协议访问，实现AI工作流中数据"零拷贝"。 系统盘 158.9 673% 自建NFS 485.1 153% CFS Turbo 1228.8 / 四、典型案例 智谱AI 背景：大模型训练需要高性能共享存储支持多GPU节点并行访问 解决方案：采用 CFS Turbo作为统一模型存储平台 成效：实现模型文件快速加载和多节点高效共享 元象科技 背景：AI推理服务需要快速弹性扩缩容，模型加载速度成为瓶颈 解决方案：使用CFS Turbo的并行客户端能力 腾讯云CFS Turbo通过高性能并行文件系统架构，为AI大模型场景提供： 6倍模型加载速度提升，优化GPU资源利用率 10倍存储成本降低，通过共享访问消除数据冗余 全流程数据"零拷贝"，支持POSIX
14510编辑于 2026-05-30腾讯云CFS Turbo：面向AI与高性能计算场景的高性能并行文件存储解决方案
一、 产品定位与核心亮点 CFS Turbo 是腾讯云推出的 IaaS层「AI存储」产品，属于高性能并行文件存储。 其核心技术属性在于为大模型、自动驾驶、高性能计算（HPC）等高强度、大规模分析场景提供数据存储与访问服务。 极致性能：通过并行客户端与预读算法，解决大模型加载瓶颈。 数据零拷贝：通过单一存储实例同时支持POSIX与HDFS接口，打通清洗、训练、推理全流程。 通过面向大文件的预读算法及并行客户端能力实现。 存储成本优化： 模型存储成本降低 10倍（只需存储一份模型文件）。 解决方案：使用CFS Turbo高性能并行文件存储。 成效：提升数据管理效率，降低存储复杂度。 百川 背景：大模型相关的数据存储与访问。 解决方案：接入CFS Turbo存储方案。
12810编辑于 2026-05-30- 来自专栏计算机技术-参与活动
LLM高性能并行训练技术
LLM高性能并行训练技术### 研究背景与意义- **深度学习的重要性**：人工智能成为国际竞争焦点，深度学习是其核心技术，在众多领域取得突破，推动社会向智能化跃升。 异步流水线并行虽受关注，但算法设计复杂，需降低对模型收敛的影响**。- **显存优化** - **激活重计算**：在前向计算存储部分激活张量，反向传播重计算释放的张量。 混合并行训练策略 - **成本模型构建**：深入分析模型训练中层内（数据并行和模型并行）和层间（流水线并行）并行性，分别构**建前向计算与反向计算的成本模型**。 - **混合并行分区算法**：基于动态规划算法搜索混合并行策略空间，将模型分区映射到计算设备。 **与数据并行和 Gpipe 相比，分别实现高达 1.88 倍和 2 倍的加速比**，证明了该策略能根据不同环境和模型给出高效并行方案。
47621编辑于 2024-12-31 - 来自专栏焱融科技
NVMe over TCP高性能文件存储，让未来照进现实
目前，人工智能、高性能计算系统主要通过文件系统访问非结构化数据，构建以NVMe协议为基础的，以高带宽、低延时为核心要求的高性能文件系统是应用系统的核心要求，这也是应用场景驱动创新的出发点。 设备通过TCP方式，组成高性能分布式文件系统，向上层应用提供文件访问服务。 满足海量的文件数量与空间需求 可同时提供文件存储和块存储接口，满足不同业务接口的需求 High performance file system is critical infrastructure facility Lightbits Labs最先认识到全NVMe高性能存储介质及协议与标准TCP网络相结合所带来的机会。 焱融科技 焱融科技是一家以软件定义存储技术为核心竞争力的高新技术企业，在分布式存储等关键技术上拥有自主知识产权，是高性能文件存储和容器存储的领导者。
2.9K01发布于 2020-04-11 - 来自专栏修己xj
RustFS：高性能文件存储与部署解决方案（MinIO替代方案）
在当今数据驱动的世界中，高效可靠的文件存储系统对于各种规模的应用程序都至关重要。RustFS作为一个基于Rust语言构建的文件存储解决方案，凭借其出色的性能、安全性和易用性，正逐渐成为开发者的新选择。 RustFS简介 RustFS 是一个使用 Rust（全球最受欢迎的编程语言之一）构建的高性能分布式对象存储软件。 此外，与其他存储系统相比，它采用 Apache 许可证构建，拥有更好、更用户友好的开源许可证。由于以 Rust 为基础，RustFS 为高性能对象存储提供了更快的速度和更安全的分布式功能。 _20250801232124.jpg RustFS作为一种高性能分布式对象存储软件，他给我们提供了一种文件存储的选择，可作为Minio的替代方案，我们下期介绍下如何使用sdk在springboot 对边缘网关和安全创新设备支持较差 稳定的商业价格，免费社区支持 高昂的定价，1PiB 成本高达 $250,000 无风险 知识产权风险和禁止使用的风险 总结 RustFS凭借Rust语言的优势和精心设计的架构，为文件存储需求提供了高性能
7.4K10编辑于 2025-08-03 - 来自专栏Hadoop数据仓库
利用job并行执行Oracle存储过程
-- 建立测试表 CREATE TABLE t (a NUMBER); -- 建立存储过程 CREATE OR REPLACE PROCEDURE p_parallel (p_min IN
2.2K10发布于 2019-05-25 - 来自专栏携程技术
高性能KeyValue存储引擎SessionDB
： 1.高读写性能，写入性能接近O(1)内存访问，读取性能最差平均O(1)次磁盘操作，适合高性能会话数据的存取，同样也适合其它缓存类数据的存取； 2.数据持久化，所有数据都存储在磁盘文件中，没有Memcached 4.有效利用内存，Heap内存占用量小，采用三级存储机制，只有近期插入的新鲜数据驻留在Heap内存中，大量次新鲜数据驻留在内存映射文件(Memory Mapped File)中，巨量老数据驻留在磁盘文件中 ，三级存储机制确保高性能读写，且Heap GC对整体读写性能影响不大。 存储优化 我们知道JVM Heap内存的存取性能很高，但JVM Heap内存操作有一个Heap GC的问题，所以存储量不能太大，而且还有宕机数据丢失的问题；纯磁盘文件的存取基本没有大小限制，但是它的性能要比内存低几个数量级 结论 为满足实际项目需要，我们设计和开发了一个高性能的基于LSM算法的Key/Value存储引擎SessionDB，我们在LSM算法(特别是参考Google LevelDB设计)的基础上，对SessionDB
2.6K100发布于 2018-02-05 腾讯云 CFS Turbo：AI 时代的高性能文件存储解决方案
一、 产品定位与核心亮点 腾讯云 CFS Turbo 是一款面向人工智能（AI）及高性能计算（HPC）场景的并行文件存储服务。 大规模文件检索与统计分析：解决 百亿级文件 的统计、筛选和管理效率低下问题，提供秒级检索能力。 三、 应用框架和功能介绍 功能框架 CFS Turbo 的架构由 Turbo 内核态并行客户端、极速本地缓存池和中心的 AI 存储平台构成。 元数据检索性能：1秒内可完成 1000万 文件检索（据腾讯云官方材料）。 数据协议支持：支持 POSIX 标准接口及 S3 对象协议，实现与对象存储互通。 智能元数据检索：支持千万级文件秒级检索和复杂语义的自定义检索，可管理千亿级文件。 智能生命周期管理：自动将冷数据从高速存储层沉降至低频或冷存储层，承诺 降低 80%+ 存储成本，且对业务透明无感。
22410编辑于 2026-04-25- 来自专栏计算机技术-参与活动
显存：存储，GPU：计算；Pipeline Parallelism（管道并行）
同时，文章还讨论了数据传输中的安全性问题，提出了不依赖加密算法的数据传输安全方案 目录显存：存储，GPU：计算流水线切分策略：（数据并并，多头并行，单头MLP切片）存储（显存）和计算（GPU）负载不均衡的问题 ：存储，GPU：计算流水线切分策略：（数据并并，多头并行，单头MLP切片）显存与存储： 显存（Video Memory或Graphics Memory）是GPU上的专用内存，用于存储图形数据、纹理、帧缓冲区等 在图形处理和并行计算任务中，显存扮演着关键角色，因为它需要快速访问和存储大量数据。 存储（显存）和计算（GPU）负载不均衡的问题1,2,3,4,5指的计算任务（数据切分）大方块代表GPU计算黄色代表显存存储和计算负载不均衡的问题主要出现在大规模并行计算环境中，尤其是在训练大型语言模型时 解决办法：重计算和流水线切分策略为了解决存储和计算负载不均衡的问题，重计算和流水线切分策略被广泛应用于大规模并行计算中。
84021编辑于 2024-11-26 - 来自专栏Spring相关
文件存储
文件存储 1.新建一个项目FilePersistenceTest 2.修改activity_main.xml: <?xml version="1.0" encoding="utf-8"? }catch(Exception e){ e.printStackTrace(); } Log.d(TAG, "读取到的文件的内容为
4.1K20发布于 2018-12-18 - 来自专栏shysh95
文件存储
，最后把数据块再写回磁盘 文件的存储 文件的数据在磁盘上的存储方式有哪几种？ 连续空间存储方式 非连续空间存储方式 连续空间存储方式 连续空间存储使用前必须要知道文件的大小，这样文件系统才可以在磁盘上找到一块连续的空间分配给文件。文件头里需要指定起始块的位置和长度。 连续空间存储优点？ 文件数据紧密相连，一次磁盘寻道便可读出整个文件，读写效率高。 连续空间存储缺点？ 索引方式优点： 文件的创建、增大、缩小很方便 不会有碎片问题 支持顺序读写和随机读写 索引方式缺点： 如果文件很小，一个块就可以存储所有数据，此时还需要额外分配一块磁盘空间来存储索引，造成了存储的开销。 Unix中文件数据的存储方式？
5K30发布于 2021-10-26 - 来自专栏运维笔记
minio 高性能 Kubernetes 原生对象存储
minio 高性能 Kubernetes 原生对象存储 minio 高性能 Kubernetes 原生对象存储 特点 安装 单机 分布式 客户端mc安装和使用 minio在K8S的优化实践 MinIO 它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。 特点 高性能 minio是世界上最快的对象存储(官网说的: https://min.io/) 弹性扩容 很方便对集群进行弹性扩容 天生的云原生服务 开源免费,最适合企业化定制 /mc --help mc命令指南 ls 列出文件和文件夹。 mb 创建一个存储桶或一个文件夹。 cp 拷贝文件和对象。 mirror 给存储桶和文件夹做镜像。 find 基于参数查找文件。
7.3K21发布于 2020-05-12 - 来自专栏数据核心
RocksDB：高性能键值存储引擎初探
一、RocksDB的核心特性 高性能：RocksDB针对高速存储设备进行了优化，它利用了一系列的技术手段，如多线程紧凑写、数据压缩和延迟删除等，以实现高性能的读写操作。 它还能够利用多核处理器并行处理数据，进一步提升性能。 兼容性：RocksDB支持多种操作系统和编程语言，这使得它可以轻松地集成到现有的系统中。 以下是 RocksDB 作为 Flink 状态后端的一些关键优势： 本地存储：RocksDB 将状态数据存储在本地磁盘上，而不是分布式文件系统中。 这在 Flink 的并行处理环境中非常重要，因为它允许多个任务同时访问和更新状态。 这使得 Flink 能够在处理大规模数据流时保持高性能，并提供强大的容错和恢复能力。 四、总结与展望 RocksDB作为一个高性能的键值存储引擎，在大数据和分布式系统领域发挥着越来越重要的作用。
2.4K10编辑于 2024-03-21 - 来自专栏数据结构和算法
使用Python实现高性能数据存储
本文将详细介绍如何使用Python实现高性能数据存储，并通过具体代码示例展示其实现过程。 项目概述 本项目旨在使用Python构建一个高性能的数据存储系统，涵盖数据存储、读取、压缩和优化等步骤。 具体内容包括： 环境配置与依赖安装 数据存储技术选型 实现高性能数据存储 数据读取与处理 性能测试与优化 1. 数据存储技术选型 为了实现高性能数据存储，我们选择使用以下几种技术： HDF5：适用于存储大量数值数据，支持压缩和分块存储。 实现高性能数据存储 3.1 使用HDF5进行数据存储 HDF5是一种用于数值数据存储和处理的文件格式，具有高效、灵活和支持压缩等特点。 希望本文能为读者提供有价值的参考，帮助实现高性能数据存储系统的开发和应用。 如果有任何问题或需要进一步讨论，欢迎交流探讨。让我们共同推动高性能数据存储技术的发展，为数据驱动的决策提供更多支持。
81010编辑于 2024-12-13 - 来自专栏小工匠聊架构
数据存储之文件存储
概述 文件存取的核心就是输入流和输出流。 Android文件的操作模式 ? 文件的相关操作方法 ? e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } } 文件存储位置 stat.getAvailableBlocks(); return availableBlocks * blockSize; } /** * 获取手机内部总的存储空间 totalBlocks = stat.getBlockCount(); return totalBlocks * blockSize; } /** * 获取手机内置存储剩余存储空间 stat.getAvailableBlocks(); return availableBlocks * blockSize; } /** * 获取手机内置存储总的存储空间
27.3K20发布于 2021-08-16 - 来自专栏玖叁叁
文件存储、块存储、对象存储区别（一）
在计算机系统中，存储是指将数据保存在持久化介质上，以便以后访问和使用。不同类型的应用程序可能需要不同类型的存储，以满足其特定的需求。 文件存储文件存储是一种基于文件系统的存储方式，将数据保存在文件中，这些文件可以被多个应用程序并发地访问。 这种存储方式通常用于需要读取和写入整个文件的应用程序，如文档管理、图片、视频、音乐等文件存储和共享等应用。文件存储通常由一个共享存储设备提供，多个计算机可以通过网络访问该设备中的文件。 其中，共享存储设备可以是NAS（网络附加存储器），它是一种基于文件共享的存储设备，也可以是SAN（存储区域网络），它是一种基于块的存储设备。 存储提供者是一个NAS设备，使用“nfs-storage”存储类提供文件共享服务。
8.6K20编辑于 2023-05-03 - 来自专栏玖叁叁
文件存储、块存储、对象存储区别（二）
块存储块存储是一种基于块的存储方式，将数据保存在块设备上，块设备通常是一种硬件设备，例如硬盘、固态硬盘或闪存驱动器。 块存储通常由一个存储阵列提供，可以被多个计算机使用，每个计算机都可以访问阵列中的块存储设备，并在其上创建文件系统。块存储通常用于需要随机读写的应用程序，例如数据库、虚拟化、高性能计算等应用。 在块存储中，数据是以块的形式传输，并且每个块可以被独立地访问和管理。 块存储通常使用iSCSI（Internet Small Computer System Interface）协议将块设备连接到计算机系统。 存储提供者是一个iSCSI存储设备，使用“iscsi-storage”存储类提供块存储服务。
8K10编辑于 2023-05-03 - 来自专栏玖叁叁
文件存储、块存储、对象存储区别（三）
对象存储对象存储是一种分布式存储方式，将数据保存在对象中，每个对象都有唯一的标识符，可以通过该标识符访问对象。 对象存储通常使用REST API（Representational State Transfer Application Programming Interface）来访问和管理对象，因此可以通过公共互联网访问 对象存储通常用于需要海量存储的应用程序，例如大数据、人工智能、物联网等应用。对象存储通常由一个对象存储集群提供，该集群由多个存储节点组成，可以水平扩展以增加存储容量和吞吐量。 下面是一个使用Amazon S3提供对象存储的示例：apiVersion: v1kind: Podmetadata: name: example-podspec: containers: - 存储提供者是Amazon S3存储服务，使用“s3-storage”存储类提供对象存储服务。
7.8K10编辑于 2023-05-03 - 来自专栏DevOps
块存储，文件存储及对象存储 比较
写入数据的时候，由于是多块磁盘组合出来的逻辑盘，所以几块磁盘可以并行写入的，提升了读写效率。 3. 文件存储： 通常NAS产品都是文件级存储,文件存储其实普通拿一台服务器/笔记本，只要装上合适的操作系统与软件，就可以架设FTP与NFS服务了，架上该类服务之后的服务器，就是文件存储的一种了。 它采用NFS或CIFS命令集访问数据，以文件为传输协议，可扩展性好、价格便宜、用户易管理。目前在集群计算中应用较多的NFS文件系统，但由于NAS的协议开销高、带宽低、延迟大，不利于在高性能集群中应用。 操作对象是目录和文件，物理存储位置 是由 文件服务器对应的文件系统来决定的（比块存储多一个过程:判断参数文件 应该存储到哪个逻辑目录上。） 3. 文件存储，就是在文件系统一层对外提供服务，系统只用访问文件系统一级就可以，各个系统都可以根据接口取访问。 访问协议：文件存储，主要操作对象是文件和文件夹。
7.2K11编辑于 2024-03-29 - 来自专栏数据库新发现
系列 | 高性能存储-MySQL数据库之存储过程揭秘
而另一种可以创建存储过程。 其实简单来说：存储过程，就是为以后的使用而保存的一条或多条MySQL语句的集合。可将其视为批文件，虽然它们的作用不仅限于批处理。 通过存储过程限制对基础数据的访问减少了数据讹误(无意识的或别的原因所导致的数据讹误)的机会。 4. 提高性能。因为使用存储过程比使用单独的 SQL语句要快。 5. 存在一些只能用在单个请求中的MySQL元素和特性，存储过程可以使用它们来编写功能更强更灵活的代码(在下一章的例子中可以看到。) 换句话说，使用存储过程有 3个主要的好处，即简单、安全、高性能。 你可能没有创建存储过程的安全访问权限。许多数据库管理员限制存储过程的创建权限，允许用户使用存储过程，但不允许他们创建存储过程。 尽管有这些缺陷，存储过程还是非常有用的，并且应该尽可能地使用。 如何去使用存储过程 ---- 使用存储过程需要知道如何执行(运行)它们。存储过程的执行远比其定义更经常遇到，因此，我们将从执行存储过程开始介绍。然后再介绍创建和使用存储过程。
2.5K70发布于 2019-06-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号