并行与分布式与传统文件系统

Question

我试图在一个非常基本的层次上理解这三个文件系统之间的差异。

• 分布式FS: HDFS
• 并行FS :光泽
• 传统FS :ext4 4/ext4 3/ NTFS/FAT等。

我想知道这三个文件系统在概念上的基本区别是什么。我的大部分知识都是关于传统的文件系统，即ext3 3/4 超级块、inode等。

• 如果基于MPI的进程(np=8)试图从文件系统读取文件或写入文件A，那么文件访问机制在这些上下文中有何不同？
• 另外，文件是如何存储在这个环境中的？也就是说，文件A将被分割成多个磁盘，或者A文件将有多余的副本存储。或者更简单的情况是，多个用户打开一个word文档，然后保存它，那么在这3种情况下，写/同步有何不同？

到目前为止，我已经形成了几个概念：-

• 在本地文件系统中，存储被物理地安装在服务器/节点上。
• 在并行文件系统中，磁盘在多个节点上共享(挂载)，并且，
• 在分布式FS中，多个节点具有多个本地存储，但它们都是通过某种机制实现同步的。

如果我有A，B是工作站，C，D是磁盘：

1. 如果C被物理地挂载在A上，格式为ext4，那么它就是传统的文件系统。
2. 如果C物理地安装在存储服务器上，则Z+C是A&B上的网络挂载(NFS)，那么这就是集群FS。
3. 如果C物理上安装在A上，网络安装在B上，D物理上安装在B上，网络安装在A上，那么这就产生了分布式FS。

虽然一些答案声明元数据和数据位于并行文件系统中的单独服务器上，但在这里，我也希望了解元数据是如何在分布式文件系统中管理的？

Answer 1

AFAICS，术语“并行文件系统”是市场营销B.S.，这意味着文件系统驱动程序是建立在这样的基础上的，即多个进程可以同时写入文件，因此使用适当的块分配策略将文件连续写入磁盘的不同部分，而不是将文件碎片放在另一个磁盘上。20年来，这几乎是unix系统上的标准实践。

集群文件系统是设计用于存储在SAN上的文件系统，其中“磁盘”(实际上可能是在SAN磁盘盒的硬件中实现的raid数组)可由多个主机(通过共享SCSI连接)直接访问，因此可以由多个主机同时安装，因为文件系统驱动程序特别注意不要踩到对方。这与通过网络与NFS或CIFS共享常规文件系统完全不同。

分布式文件系统更像是一个网络文件系统，但它在内部与多个服务器进行通信，在它们之间分配负载，这种方式在很大程度上对用户是透明的。afs就是一个例子。

Answer 2

NAS和SAN之间的差异正在消除。目前正在进行讨论。我是站在他们一边的，他们之间没有区别。

你如何安装这些不再不同了。通过问一些问题，比如传统的文件系统，关注功能的好处是更容易理解的；它是分布式的还是集群的？对于分布式文件系统和集群文件系统，您可以问同样的问题，并且存在分布式集群文件系统。

关于是什么使文件系统分布或集群的问题，可以使您摆脱短名称混淆。在集群系统中，您期望的是会话共享和同步。这不是我从当前集群文件系统中得到的结果，它们更像是异步的，因为有了CAP和are限制。