如何使用c#验证WebHDFS

Question

我一直在尝试使用WebHDFS REST API将文件通过c#上传到Hadoop.下面的代码运行良好：

    using (var client = new System.Net.WebClient())
    {
       string result = client.DownloadString("http:/ /host:50070/webhdfs/v1/user/myuser/?op=LISTSTATUS");
       client.DownloadFile("http:/ /host:50070/webhdfs/v1/user/myuser/tbible.txt?user.name=myuser&op=OPEN","d:\tbible.txt");
    }

​

这段代码得到一个403禁止：

    using (var client = new System.Net.WebClient())
    {

       client.UploadFile("http:/ /host:50070/webhdfs/v1/user/myuser/?user.name=myuser&op=CREATE", "PUT", "d:\bible.txt");
    }

​

我尝试添加网络凭据，但没有成功。如何从.NET向我们的群集进行身份验证？该集群是RHEL5上的Hortonworks HDP1.3。(这篇文章中额外的空格是为了防止http:/ /成为链接)另外，我想使用微软的hadoop SDK，但它是alpha的，不能在我的环境中编译:(

​

Answer 1

确保您写入的目录位于WebHDFS操作所在的组下。默认情况下，这是hdfs。

检查这一点的快速方法是在目录的父目录上执行hadoop fs -ls，以获取组权限设置(第二列可能看起来像用户名)。