HortonWorks hadoop数据安全和加密工具

Question

有人能告诉我哪些工具可以用于数据安全和加密，这些工具是由hadoop的HortonWorks发行版支持的吗？以及如何对hdfs和hive中的全部或部分数据文件进行加密。

Answer 1

Hortonworks数据平台(HDP)支持阿帕奇诺克斯，这是一个REST网关，以身份验证和访问控制的形式提供外围安全。下面是一个很棒的幻灯片共享演示文稿，它描述了Hortonworks如何与Knox合作。

此外，Hortonworks数据平台2.2版还支持阿帕奇游侠，这是一种基于策略的安全框架，用于定义策略以控制对文件、文件夹、数据库、表或列的访问。这适用于HDFS、Hive、HBase、Storm以及Knox。

Hortonworks有一个很好的教程，它将这些概念集中在这里：http://hortonworks.com/hadoop-tutorial/manage-security-policy-hive-hbase-knox-ranger/

请注意，这些功能主要解决访问控制问题。身份验证验证身份声明，授权确定哪些经过身份验证的请求者(在安全语言中称为"subjects")可以访问哪些数据，以及允许他们执行哪些操作。

还有其他的数据安全领域，例如保护静止的数据(在HDFS中)和在传输中的数据(在组件之间传递)。美国医疗保健行业、信用卡行业和政府各有一套不同的法规，要求对数据进行加密，无论是在静止状态下还是在传输过程中。

下面是ApacheHadoop2.5.0文档中描述如何运行安全模式下的Hadoop的部分的链接。具体来说，这解决了通过加密RPC请求中的数据、块读和写请求中的数据以及在web控制台和客户端之间传输的数据来保护Hadoop data-in-transit的方法。

JIRA HDFS-6134解决了保护数据的问题，我们可以在Hadoop2.6.0版本和密钥管理服务器中看到这个问题。