首页
学习
活动
专区
圈层
工具
发布
首页标签分布式存储

#分布式存储

三方权威压测出炉!RustFS 在 Iceberg 负载延迟比 MinIO 低 2~8 倍

AI存储专家

当下企业数据湖、湖仓平台选型时,绝大多数存储基准测试仅采用原生 boto3 做单文件串行读写,只能单纯衡量原始带宽,完全无法还原 Iceberg、DuckLak...

900

AI存储vs传统存储:带宽、IO、架构全面对比,企业选型别再踩坑

AI存储专家

随着大模型训练、多模态数据集、视频资源数据量爆发式增长,大量企业依旧沿用NAS、SAN这类传统存储搭建算力集群。

3120

私有云与AI双场景下,分布式存储如何选型?

ZStack云计算

实践中无需二选一。成熟的分布式存储支持按存储池配置不同策略:热数据用三副本保性能,温冷数据用纠删码省空间。ZStack企业版分布式存储支持对象、块、文件三种存储...

9410

告别重型存储架构:我用RustFS为AI团队搭建轻量化数据湖的实战记录

AI存储专家

上个月,我帮一家AI初创团队做存储架构咨询。团队不大,6个算法工程师,主要做基于Iceberg数据湖的模型训练。他们的诉求很朴素:搭一套对象存储,让训练任务能稳...

11821

国产开源对象存储进阶:S3 Table打通Iceberg数据湖最佳实践

AI存储专家

随着信创国产化落地持续深化,企业大数据、AI底层基建的自主可控改造,已经从“可选项”变成“必选项”。在分布式对象存储领域,以往大量依赖海外开源方案、商用闭源存储...

15721

对标MinIO!RustFS新一代AI分布式对象存储开源能力前瞻

AI存储专家

近几年AI大模型产业化落地驶入快车道,企业数据架构从传统大数据数仓全面转向AI数据湖架构,底层分布式对象存储的选型逻辑也发生了颠覆性变化。过去行业优先看重存储生...

18921

内存涨价时代,RustFS如何重塑国产AI分布式对象存储架构

AI存储专家

做存储架构落地的同行应该都能明显感知到,2026年全年的硬件涨价行情,已经从“硬件涨价”演变成架构重构驱动。尤其是DRAM内存持续暴涨,直接推翻了过去几年分布式...

16821

零基础看懂:S3、S3 Table、Apache Iceberg、AI数据湖分别是什么?适用场景全解析

AI存储专家

很多刚接触AI存储、分布式存储、数据湖搭建的朋友,看技术文章时,总会被 S3、S3 Table、Apache Iceberg 这些专业术语卡住。这些概念是当下搭...

15021

Rook-Ceph v1.20.0 CSI ServiceAccount 命名不匹配 Bug 及修复方案

东风微鸣

从 rook-ceph v1.19.6 升级到 v1.20.0 后,Ceph mon 数据被升级为 Tentacle ondisk format (v20),无...

11000

腾讯云海量分布式云存储产品技术架构与业务应用概要

gawain2048

腾讯科技(深圳)有限公司 | 市场研究 (已认证)

本文全面概述了腾讯云海量分布式云存储产品的技术架构与业务应用。该产品基于腾讯云遨驰操作系统,构建了涵盖IaaS(基础服务)、PaaS(智能存储)和SaaS(协同...

20610

ZSTACK · 答客问 | 存储空间快满了?这5个信号出现时就该行动了

ZStack云计算

分布式存储的监控节点如果内存太小,在负载高峰时可能崩溃。存储集群要求至少半数以上的监控节点正常才能工作,所以一旦多个节点同时出问题,整个存储就不可用了。建议监控...

12310

云GPU与分布式存储驱动制造业数字化转型,实现资源交付分钟级与存储成本降本6倍

IT前沿资讯站

腾讯科技(深圳)有限公司 | 数据分析 (已认证)

破解IT资源交付瓶颈与数据管理难题 制造业数字化转型面临核心痛点:传统GPU物理服务器采买周期长达三个月,难以敏捷响应研发与生产需求;数据分散存储导致维护成本高...

17010

腾讯云对象存储 (COS) 技术与商业应用分析报告

gawain2048

腾讯科技(深圳)有限公司 | 市场研究 (已认证)

腾讯云对象存储(Cloud Object Storage, 简称 COS)是一种兼容 S3 协议 的云端海量分布式存储服务。

20710

运维必会!选型必备!主流分布式存储方案:HDFS、Ceph、MinIO 深度剖析

民工哥

Ceph 是一个高度可扩展、高性能、开源的分布式存储系统,提供统一的分布式存储解决方案,支持对象存储、块存储和文件系统存储。去中心化架构,基于 RADOS(Re...

1K10

从零开始写分布式存储系统(6.3)升级过程中如何避免脑裂

早起的鸟儿有虫吃

本文 聚焦在传统电信,银行等企业 大版本(版本4.0 升级版本5.0)平滑升级过程中

19710

从零开始写分布式存储系统(6)性能测试三板斧

早起的鸟儿有虫吃

用户故事: 作为性能测试工程师, 我想要快速定位并解决存储系统带宽不达标的紧急问题, 以便于系统能够满足预定的性能基准,保障项目交付进度

37410

如何在CentOS 8.4上部署并优化Ceph分布式存储系统,提升PB级存储环境的冗余性与数据恢复能力

A5IDC服务器

Ceph是一个开源软件定义存储(Software‑Defined Storage)平台,支持对象存储、块存储和文件系统(CephFS)三种存储方式,采用无单点故...

51110

如何在Rocky Linux 8服务器上实现高效的Ceph分布式存储系统,支持PB级数据存储与访问?

A5IDC服务器

本文面向运维工程师和架构师,A5IDC深入讲解在Rocky Linux 8环境下部署、优化和运维Ceph分布式存储系统,使其能够在典型企业数据中心环境中可靠地支...

87510

linux服务器参数调优

用户4128047

‌        HDFS‌推荐使用 ‌多块SATA/SAS机械硬盘‌ 构建分布式存储,通过横向扩展实现高吞吐量。

30410
领券