- 综合排序
- 最热优先
- 最新优先
- 来自专栏存储公众号：王知鱼
Hammerspace：全局并行文件系统架构案例
AI/新场景对海量文件的效率要求，使得并行文件系统备受关注。全局命名空间+并行文件系统是Hammerspace对当前AI场景的求解。 将数据传输到高性能本地计算集群、GPU 云、远程应用程序及分布式全局用户，并同时满足速度与效率的要求，仍然是一个挑战。数据复制缓慢会影响数据治理和安全性。 Hammerspace 全局数据平台将跨站点、云和任何存储的非结构化数据统一到一个单一、并行的全局文件系统中，并具有全局命名空间。 • 真正的全局化、基于标准的并行文件系统：跨越多个站点和多云环境，呈现单个全局命名空间。在所有主要供应商的新旧存储设备上存储数据。 • 降低渲染生产成本 • 消除文件复制和手动文件编排 • 充分利用分布式基础设施优势，就近接入本地资源、人才 引用链接 [1] Hammerspace: https://hammerspace.com/
65510编辑于 2025-02-11 - 来自专栏AI大模型
分布式文件系统实战，使用MinIO构建分布式文件系统！
一、什么是分布式文件系统？ 1.1 什么是分布式文件系统 分布式文件系统（Distributed File System，DFS）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点（可简单的理解为一台计算机 高可用性：在分布式文件系统中，高可用性包含两层，一是整个文件系统的可用性，二是数据的完整和一致性 低成本：分布式存储系统的自动容错和自动负载平衡允许在成本较低服务器上构建分布式存储系统。 分布式文件系统 一般文件系统 存储方式 数据分散的存储在多台服务器上 集中存放所有数据，在一台服务器上。 使用分布式文件系统可以解决如下几点问题： 海量文件数据存储 文件数据高可用(冗余备份) 读写性能和负载均衡 以上三点都是传统文件系统无法达到的，这也是我们为什么要使用分布式文件系统的原因。
6.6K10编辑于 2023-03-23 - 来自专栏FREE SOLO
分布式文件系统
文件系统的定义 文件系统是操作系统的一个重要组成部分， 通过对操作系统所管理的存储空间的抽象， 向用户提供统一的、 对象化的访问接口， 屏蔽对物理设备的直接操作和资源管理。 如DOS的⽂件系统； ¨ 多处理器单用户的本地⽂件系统 如OS/2的⽂件系统； ¨ 多处理器多用户的本地⽂件系统 如Unix的本地⽂件系统； ¨ 多处理器多用户的分布式
1.3K20发布于 2019-05-09 - 来自专栏罗西的思考
模型并行分布式训练 Megatron (3) ---模型并行实现
[源码解析] 模型并行分布式训练 Megatron (3) ---模型并行实现 目录 [源码解析] 模型并行分布式训练 Megatron (3) ---模型并行实现 0x00 摘要 0x01 并行Transformer 6.2 共轭函数 0xFF 参考 0x00 摘要 NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor 并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。 本文将看看 Megatron 如何处理模型并行。 本系列其他文章为： [源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础 [源码解析] 模型并行分布式训练Megatron (2) --- 整体架构 0x01 并行Transformer
2.9K20编辑于 2022-11-28 - 来自专栏android技术
分布式--分布式文件系统FastDFS
大型项目中，文件服务器是很重要的角色，如果只有一台文件服务器，一旦当机，会产生很大影响，和业务服务器不同，文件服务器主要还是处理存放文件，和读取文件的功能 专用分布式文件系统是基于google File 需要专门的api对文件进行访问，也可称作分布式文件存储服务。典型代表：MogileFS、FastDFS、TFS FastDFS由国人余庆开发，在chinaunix中担任FastDFS版主。 工具类 /** * FastDFS分布式文件系统操作客户端. */ public class FastDFSClient { private static final String CONF_FILENAME
1.8K20编辑于 2022-06-19 - 来自专栏罗西的思考
模型并行分布式训练 Megatron (4) --- 如何设置各种并行
[源码解析] 模型并行分布式训练 Megatron (4) --- 如何设置各种并行 目录 [源码解析] 模型并行分布式训练 Megatron (4) --- 如何设置各种并行 0x00 摘要 0x01 Data-parallel 7.1 分组 7.2 如何使用 0x08 模型组 0x09 如何把模型分到GPU 0xFF 参考 0x00 摘要 NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架 本系列其他文章为： [源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础 [源码解析] 模型并行分布式训练Megatron (2) --- 整体架构 [源码解析] 模型并行分布式训练 数据并行，模型并行，流水线并行这几种并行之中，每个节点分别属于哪个部分？ 如何避免流水线带来的问题。 我们接下来就仔细分析一下。 2.1 全局变量 因为前文_initialize_distributed之中调用了torch.distributed.init_process_group 初始化分布式环境，所以我们知道，每个进程都有自己的
3K10编辑于 2022-05-09 - 来自专栏机器之心
分布式训练中数据并行远远不够，「模型并行+数据并行」才是王道
来自加州大学洛杉矶分校和英伟达的研究人员探索了混合并行化方法，即结合数据并行化和模型并行化，解决 DP 的缺陷，实现更好的加速。 数据并行化（Data parallelism，DP）是应用最为广泛的并行策略，但随着数据并行训练设备数量的增加，设备之间的通信开销也在增长。 图 2：不同的训练并行化策略，2(a) 展示了数据并行化训练，2(b) 展示了模型并行化训练。 该研究发现，在规模较大的情况下，混合训练在最小化端到端训练时间方面比仅使用 DP 更加高效。 该研究的贡献如下： 当 DP 愈加低效时，可以使用混合并行化策略（即每个数据并行化 worker 在多个设备上也是模型并行化的）进一步扩展多设备训练。 这部分量化了使用数据并行策略的训练时间、使用模型并行策略的训练时间，以及使用混合并行策略的训练时间（详情参见原论文），并得出结论：在一定条件下，混合并行策略的效果优于仅使用 DP。
1.4K20发布于 2019-09-03 - 来自专栏小道
分布式文件系统——HDFS
一、HDFS简介 HDFS源于Google发表的一份GFS论文，HDFS是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，可以运行在廉价机器上，具有高容错、高可靠性、高可扩展性、高获得性
1.1K20发布于 2021-04-13 - 来自专栏开源部署
分布式文件系统介绍
后端文件存储用了多层NFS架构，但是还是不够，分布式文件系统成为了必然的选择。采用分布式文件系统后，服务器之间的数据访问不再是一对多的关系，而是多对多的关系，这样一来，性能大幅提升毫无问题。 因此，对于分布式文件系统而言，仅仅是满足了正常状况下文件系统各项服务还不够，还需要保证分布式各种意外场景下健康持续的服务，否则，将一无是处。 在分布式文件系统而言，没有利用价值的数据块备份，就是垃圾。 、总结 整个分布式文件系统。 写了这么多，看了这么多激动人心的概念，自己做一个分布式文件系统，是一个好主意，但是也是一个挑战，如果不能下大决心和花费无数的银子和时间，那么，就在诸多的分布式文件系统中，选择一个吧。
99320编辑于 2022-07-04 - 来自专栏java达人
FastDFS分布式文件系统
一，简介 FastDFS是一个开源的轻量级 分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。 同时FastDFS提供了Java，C和PHP等语言的客户端API，我们可以在应用服务端通过API操作文件系统。 四，分布式文件系统对比 FastDFS与HDFS，TFS等特性比较。TFS是淘宝使用的分布式文件系统，用于海量小文件的存储，但使用和部署过于复杂，不够轻量化。 HDFS是Hadoop分布式计算使用的文件系统，主要解决并行计算中分布式存储数据的问题。其单个数据文件通常很大，采用了分块（切分）存储的方式。
2K70发布于 2018-01-31 - 来自专栏SRE运维实践
分布式文件系统监控
序言 分布式文件系统用来存储各种非结构化数据，例如海量的图片，海量的视频，海量的xml等数据。在这种分布式存储中，是不支持随机的读写的，要么直接覆盖，要么删除然后再修改。 越来越多的存储都用到了分布式文件系统，各种hdfs，gfs等都会用到，那么对于分布式文件系统如何来进行监控呢？ 分布式文件系统 分布式文件系统一般都会有元数据节点，用来存储相关的元数据，例如集群有多少台物理机，每个物理机上面的空间有多少，这种节点一般称之为master节点。 在分布式文件系统的集群中，一般为了高可用，那么就必然会有多个master节点，一般的master节点的个数为3个，可以是热备的形式，也可以是像etcd那种选举出来的中心节点。 在进行搭建分布式系统的集群的时候，首先要进行规划，也就是预判文件系统存储空间的大小，大概能使用多久，如果数据存储超过了一定值，那么就要进行扩容，那么如果要进行清理数据，该用什么策略呢？
1.3K20发布于 2019-07-08 - 来自专栏高级开发进阶
FastDFS分布式文件系统
Storage server 的作用是文件存储，，客户端上传的文件最终存储在Storage服务器上，不过Storage server 没有实现自己的文件系统，而是利用操作系统的文件系统来管理文件。
82820编辑于 2022-09-28 - 来自专栏小四的技术文章
分布式文件系统MinIO
前言 我们的系统离不开文件存储系统，因为系统会存储各种文件，所以选择一个好的文件存储系统是十分有必要的，我们选择文件系统一般需要看其使用是否简单，是否可靠，对各种环境是否适配，社区是否活跃，分布式等，随着云的普及 我们的文件由云厂商进行托管，我们只需要按时按量付费，这就是SAAS模式，使用OSS，那么自然得付费，加上文件是存储在别人家，对于很多行业来说，文件得存储在自己的网络，所以OSS自然不行，所以我们得搭建自己的文件服务器，常见的分布式文件服务器有 Minio介绍 MinIO 是一款高性能、分布式的对象存储系统. 它是一款软件产品, 可以100%的运行在标准硬件。即X86等低成本机器也能够很好的运行MinIO。
5.4K30编辑于 2022-07-26 - 来自专栏L宝宝聊IT
MFS分布式文件系统
一、工作原理 1、分布式原理 分布式文件系统就是把一些分散在多台计算机上的共享文件夹，集合到一个共享文件夹内，用户要访问这些文件夹的时候，只要打开一个文件夹，就可以的看到所有链接到此文件夹内的共享文件夹 2、MFS原理 MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。 1）MFS的组成 元数据服务器（Master）：在整个体系中负责管理文件系统，维护元数据，目前不支持高可用。 客户端（Client）：可以像挂载NFS一样挂载MFS文件系统 ? n.n.n.n/m.m.m.m IP网络地址/子网掩码 f.f.f.f-t.t.t.t IP段 目录部分的标示如下 /标示MFS根 .表示MFSMETA文件系统
1.7K50发布于 2018-06-20 - 来自专栏CreateAMind
分布式并行架构Ray介绍
Ray is a fast and simple framework for building and running distributed applications. The same code can be run on a single machine to achieve efficient multiprocessing, and it can be used on a cluster for large computations.
2.1K20发布于 2019-08-13 - 来自专栏DevOps持续集成
MooseFS分布式文件系统
类似GoogleFS的实现方式，即一个MasterServer和多个ChunkServer构成的存储集群。MFS系统由4个部分构成，master、metalogger、chunkserver、client。
89030发布于 2019-10-18 - 来自专栏用户7621540的专栏
分布式文件系统FastDfs
本文源自 公-众-号 IT老哥 的分享 IT老哥，一个在大厂做高级Java开发的程序员，每天分享技术干货文章 目录 ⊙什么是分布式文件系统 ⊙为什么要使用分布式文件系统 ，这就是分布式文件系统。 分布式文件系统是一个允许文件通过网络在多台节点上分享的文件系统，多台计算机节点共同组成一个整体，为更多的用户提供分享文件和存储空间。比如常见的网盘，本质就是一个分布式的文件存储系统。 虽然我们是一个分布式的文件系统，但是对用户来说是透明的，用户使用的时候，就像是访问本地磁盘一样。 分布式文件系统可以提供冗余备份，所以容错能力很高。 FastDFS 与 HDFS比较 说到分布式文件存储，肯定会有人想到HDFS，他们两者主要定位和应用场景是不一样的。 Hadoop中的文件系统HDFS主要解决并行计算中分布式存储数据的问题。
1.2K20发布于 2020-09-16 - 来自专栏大数据成神之路
分布式文件系统-HDFS
将RAID技术原理应用到分布式服务器集群上，就形成了Hadoop分布式文件系统HDFS的架构思想。 HDFS架构原理 和RAID在多个磁盘上进行文件存储及并行读写一样思路，HDFS在一个大规模分布式服务器集群上，对数据进行并行读写及冗余存储。 应用程序客户端（Client）可以并行对这些数据块进行访问，从而使得HDFS可以在服务器集群规模上实现数据并行访问，极大地提高访问速度。 NameNode负责整个分布式文件系统的元数据（MetaData）管理，也就是文件路径名，数据block的ID以及存储位置等信息，承担着操作系统中文件分配表（FAT）的角色。 HDFS应用 Hadoop分布式文件系统可以象一般的文件系统那样进行访问：使用命令行或者编程语言API进行文件读写操作。我们以HDFS写文件为例看HDFS处理过程，如下图。 ?
1.6K20发布于 2019-04-24 - 来自专栏XBD
分布式文件系统 Minio
分布式文件系统应用场景 互联网海量非结构化数据的存储需求 电商网站：海量商品图片 视频网站：海量视频文件 网盘：海量文件 社交网站：海量图片 1.1 Minio 介绍 Minio 是一个基于 Apache 分布式 minio 可以让你将多块磁盘（可以在不同的机器上）组成一个对象存储服务，由于硬盘分布在不同的节点上，分布式 minio 避免了单点故障。 分布式 Minio 优势 数据保护 分布式 Minio 采用纠删码来防范多个节点宕机和位衰减 bit rot。 分布式 Minio 至少需要4块硬盘，使用分布式 Minio 自动引入了纠删码功能。 部署分布式 Minio 运行一个分布式 Minio 实例，只需要把硬盘位置做为参数传给 Minio server 命令即可，然后，需要在所有其他节点运行同样的命令。 分布式 Minio 使用的磁盘必须是干净的，里面没有任何数据。 分布式 Minio 里的节点时间相差不能超过3秒。
3.5K11编辑于 2024-08-07 - 来自专栏惨绿少年
分布式文件系统---GlusterFS
1.1 分布式文件系统 1.1.1 什么是分布式文件系统 相对于本机端的文件系统而言，分布式文件系统（英语：Distributed file system, DFS），或是网络文件系统（英语：Network File System），是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。 在这样的文件系统中，客户端并非直接访问底层的数据存储区块，而是通过网络，以特定的通信协议和服务器沟通。 借由通信协议的设计，可以让客户端和服务器端都能根据访问控制清单或是授权，来限制对于文件系统的访问。 1.1.2 glusterfs是什么 Gluster是一个分布式文件系统。 它是各种不同的存储服务器之上的组合，这些服务器由以太网或无限带宽技术Infiniband以及远程直接内存访问RDMA互相融汇，最终所形成的一个大的并行文件系统网络。 ?
2K80发布于 2018-03-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号