支持Kerberos的HDFS集群示例Java代码的Apache束连接

Question

我正试图从Apache连接到启用Kerberos的HDFS集群，面对问题，需要从HDFS文件中读取，并编写可以ping示例工作代码的人。附加示例代码段。使用的语言-- Java

正在使用Kerberos配置，仍然获得访问控制异常。

我已经说过-- How to read hdfs files into apache beam?

Answer 1

最后，它得到了解决，您只需添加少量与Kerberos身份验证相关的属性，也只需添加一些Hdfs属性，如核心站点文件位置/ Hdfs站点位置/添加Hadoop主路径/为传递主体和keytab位置添加用户信息，并通过传递这些配置来构建波束管道。

另外，如果您在Spark模式下运行beam管道，请尝试使用submit命令而不是Java -cp命令，请参阅下面的How to read hdfs files into apache beam?代码链接。

只需为Kerberos添加配置，就可以正常工作。