我目前正在从事一个需要数据加密的Hadoop项目(因为数据将存储在S3中)。虽然我主要希望通过Hive访问数据,但能够通过Pig和任何其他MapReduce方法访问它将是一件很好的事情。
我知道Hadoop内置了对压缩编解码器的支持,比如gzip、snappy等。是否也支持加密编解码器(特别是GPG)?有没有人写了一个公开可用的GPG SerDe (或者类似的东西)?
发布于 2012-12-02 12:32:48
最后,我知道Hadoop对加密没有任何内部支持。看起来你可以用你的GPG代码重载CompressionCodec,就像http://www.mail-archive.com/common-user@hadoop.apache.org/msg06229.html一样。
黑客快乐&如果你找到了解决方案,请告诉我们!
https://stackoverflow.com/questions/12182459
复制相似问题