Apache Knox Gateway是否与Cloudera 4.5兼容？

Question

我目前正在做一个使用Hadoop集群的未来项目。我需要找到关于集群安全的信息。

我找到了API Apache Knox Gateway，它似乎就是我们所需要的。我们现在使用Cloudera 4.5。将来，我们将升级到Cloudera 5。

我的问题是，诺克斯似乎与Cloudera4.5 (http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH-Version-and-Packaging-Information/cdhvd_topic_3.html)不兼容。

WebHDFS                   2.4.0 
WebHCat/Templeton         0.13.0    0.12.0  
Ozzie                     4.0.0
HBase/Stargate            0.98.0
Hive (via WebHCat)        0.13.0
Hive (via JDBC)           0.13.0

(http://knox.apache.org/books/knox-0-4-0/knox-0-4-0.html#Quick+Start)

根据该网站的说法，这是唯一测试过的版本。有人使用过这个API和Cloudera 4.5吗？

如果它不能工作，有什么解决方案来保证集群的安全吗？

Answer 1

首先，Apache Knox是一种在集群外围为REST API访问提供安全性的方法。它并不是Hadoop集群中kerberos安全性的替代品，如果确实需要这样做的话。它还通过将REST API的覆盖范围扩展到企业来继续补充支持kerberos的群集。它还为最终用户访问提供了一些附加的身份解决方案集成。

如果您想要的是真正的Hadoop安全性，那么您需要考虑Hadoop kerberos部署选项。

现在，关于knox/CDH的兼容性...

不幸的是，Knox 0.4.0支持的服务组件版本不能很好地映射到CDH 4.5版本。看起来即使是0.3.0版本也比CDH 4.5更新。

CDH5.0似乎排列得更好，尽管HBase仍然落后。从我所看到的here -我只能假设这是准确的。

我的建议是尝试Apache Knox来对抗CDH 5，并让knox社区参与到任何有困难的事情中--也许有一些工作可以帮助我们。根据您的REST需求，可能会有足够的对齐来满足您的需求。