将加密与Hadoop结合使用

Question

Cloudera文档说Hadoop不支持on disk encryption。是否可以在Hadoop中使用硬件加密硬盘？

Answer 1

如果您已在驱动器上安装了文件系统，则Hadoop可以使用该驱动器。HDFS将其数据存储在普通操作系统文件系统中。Hadoop不会知道驱动器是否加密，它也不会关心。

Answer 2

可以使用eCryptfs在每个单独的Hadoop节点上执行每个文件的加密。这是相当繁琐的设置，但它肯定可以做到。

Gazzang提供构建在eCryptfs之上的a turnkey commercial solution，以通过加密保护“大数据”，并与几个Hadoop和NoSQL供应商合作。

Gazzang的大数据基于云的加密平台使用高级密钥管理和基于流程的访问控制列表，帮助组织透明地加密存储在云中或内部的数据，并帮助满足安全性和合规性要求。

完全公开:我是的作者和当前的维护者之一。我也是的首席架构师和首席开发人员。

Answer 3

Hadoop不直接支持加密，但可以使用压缩编解码器进行加密/解密。Here是关于加密和HDFS的更多详细信息。

关于基于硬件的加密，我认为Hadoop应该能够处理它。正如Spike提到的，HDFS就像任何其他Java应用程序一样，它将数据存储在普通的OS文件系统中。仅供参考，MapR使用直接I/O来实现更好的硬盘文件系统性能。