Hadoop NFS无法启动Hadoop NFS网关

Question

我试图在Hadoop集群上安装NFS网关。不幸的是，我无法用以下错误启动nfs网关。

我还试图通过修改log4j文件来添加更多的调试信息，包括“调试”信息。Log4j文件似乎没有影响输出。因此，我还需要知道如何提高日志记录级别。

    ************************************************************/
14/05/22 10:59:43 INFO nfs3.Nfs3Base: registered UNIX signal handlers for [TERM, HUP, INT]
Exception in thread "main" java.lang.IllegalArgumentException: value already present: sshd
        at com.google.common.base.Preconditions.checkArgument(Preconditions.java:115)
        at com.google.common.collect.AbstractBiMap.putInBothMaps(AbstractBiMap.java:112)
       at com.google.common.collect.AbstractBiMap.put(AbstractBiMap.java:96)
        at com.google.common.collect.HashBiMap.put(HashBiMap.java:85)
        at org.apache.hadoop.nfs.nfs3.IdUserGroup.updateMapInternal(IdUserGroup.java:85)
        at org.apache.hadoop.nfs.nfs3.IdUserGroup.updateMaps(IdUserGroup.java:110)
        at org.apache.hadoop.nfs.nfs3.IdUserGroup.<init>(IdUserGroup.java:54)
        at org.apache.hadoop.hdfs.nfs.nfs3.RpcProgramNfs3.<init>(RpcProgramNfs3.java:172)
        at org.apache.hadoop.hdfs.nfs.nfs3.RpcProgramNfs3.<init>(RpcProgramNfs3.java:164)
        at org.apache.hadoop.hdfs.nfs.nfs3.Nfs3.<init>(Nfs3.java:41)
        at org.apache.hadoop.hdfs.nfs.nfs3.Nfs3.main(Nfs3.java:52)
14/05/22 10:59:45 INFO nfs3.Nfs3Base: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down Nfs3 at
************************************************************/

我怀疑这是与以下问题有关的https://issues.apache.org/jira/browse/HDFS-5587，但我不明白从这个问题上，我需要采取什么行动。

Answer 1

这在下面的票证中有记录，下面是解决办法：https://issues.apache.org/jira/browse/HDFS-5587

在我的例子中，问题是sshd和其他一些用户同时存在于ldap和本地框中，但是did不匹配。

NFS网关不能从主机系统上的重复名称或id开始。这是因为HDFS (非kerberos集群)使用名称作为识别用户或组的唯一方法。具有重复的用户/组名称或id的主机系统在大多数情况下可能会自行正常工作。但是，当NFS网关与HDFS对话时，HDFS只接受用户名和组名。因此，相同的名称意味着同一个用户或同一组。要找到重复的名称/ids，可以在Linux系统和MacOS上找到。