dfs.replication提供复制因子，file.replication提供什么？

Question

我的理解是，dfs.replication提供了HDFS维护的复制数量，在核心-default.xml中，我看到了"file.replication“以及"s3.replication”、"ftp.replication“和"s3native.replication"，请您提供有关这些变量的重要性的任何输入。

Answer 1

Hadoop支持不同的FileSystem实现，所有这些属性都定义要用于其相应文件系统的复制因子。

-----------------------------------------------------------------------------------------------
| Replication Factor Property| FileSystem       | URI Scheme | Java Implementation            |
|                            |                  |            | (org.apache.hadoop)            |
-----------------------------------------------------------------------------------------------
| dfs.replication            | HDFS             | hdfs       | hdfs.DistriburedFileSystem     |
-----------------------------------------------------------------------------------------------
| file.replication           | Local            | file       | fs.LocalFileSystem             | 
-----------------------------------------------------------------------------------------------
| ftp.replication            | FTP              | ftp        | fs.ftp.FTPFileSystem           |      
-----------------------------------------------------------------------------------------------
| s3.replication             | S3 (block based) | s3         | fs.s3.S3FileSystem             |
-----------------------------------------------------------------------------------------------
| s3native.replication       | S3 (native)      | s3n        | fs.s3native.NativeS3FileSystem |
-----------------------------------------------------------------------------------------------

如果在FileSystem中定义的fs.defaultFS方案是hdfs://，那么除了HDFS之外的复制属性将永远不会被使用。