如何在Hadoop中保护特定数据

Question

我们将所有客户数据存储在hadoop中。我们确实有一些特定的安全政策，我们希望被强制执行。有一个客户HBase表，它存储我们所有客户的信息。在没有具体授权的情况下，有些贵宾客户不能直接曝光。例如，只有首席执行官、首席技术官或首席信息官有权查看贵宾客户的信息。

目前，我们正在考虑将所有原始数据存储在HBase中，这是事实的一个方面，并在应用程序级别过滤掉了VIP客户。通常情况下，这是我们所做的，如果它是一个RDBMS的遮罩。

只是想知道这方面是否有任何经验或最佳做法。

Answer 1

如果HBase是您的目标实现技术，那么您现在有了很多很好的选择。在细粒度的技术级别，您可以应用小区级安全，类似于accumulo这样做。

例如，以下摘录自博客，描述如何为用户设置ACL或为特定的“单元格”设置组(行和列的交集)：

在存储或变异单元格时，HBase用户现在可以使用向后兼容的HBase API扩展添加ACL。 Mutation#setACL(String user, Permission perms); 与表或列家族级别一样，主题被授予单元格的权限。可以为任意数量的用户(或使用@group表示法的组)添加任意数量的权限。

这也是一个关于这个主题的优秀的介绍性。

除此之外，如果您对Hadoop的更高级别/行级开放源码安全框架感兴趣，您可以查看诺克斯、犀牛以及可能的哨兵 (孵化)。

希望这能有所帮助。

Answer 2

我不确定，但也许您可以有一个单独的数据库(或表)作为贵宾的信息。然后，您只需要为每个数据库部署用户身份验证。