如何使用snakebite客户端访问kerberized集群

Question

我一直在苦苦思索如何将必要的参数传递给snakebite实用程序，以便它能够访问kerberized集群。我已经尝试在/usr/local/etc/hadoop路径中设置必要的conf dir，以及使用kinit初始化和获取票证。

在这方面的任何帮助或工作示例都将非常感谢。

注意:通过使用'hadoop‘CLI从同一台机器访问集群，我已经测试了环境设置是否正确。

Answer 1

为此，我建议您使用autoconfigure类：

from snakebite.client import AutoConfigClient
client = AutoConfigClient()

它支持HA，并通过HADOOP_HOME环境变量自动配置。

请确保您还有一个有效的密钥表

环境的klist输出如下所示(其中只有1个条目)

Credentials cache: API:1350E541-0CCD-46B9-938E-2C1C8E03A909
    Principal: saurabh@HADOOP_DEV.MY-COMPANY.COM

  Issued                Expires               Principal
May 31 16:45:30 2017  Jun  1 02:45:30 2017  krbtgt/HADOOP_DEV.MY-COMPANY.COM@HADOOP_DEV.MY-COMPANY.COM

这使我能够成功列出HDFS上的目录

hadoop fs -ls /user/saurabh 

Answer 2

你必须使用正确的keytab就足够了。它将通过主体名称自动获取结果。