WebHDFS和SequenceFiles

Question

WebHDFS不支持SequenceFiles是真的吗？

我找不到任何能证明这一点的东西。我有常见的小文件问题，我相信SequenceFiles可以很好地工作，但我需要使用WebHDFS。我需要创建，然后通过WebHDFS追加到一个SequenceFile。

Answer 1

我想这是真的。没有可追加到序列文件的web API。

但是，您可以附加二进制数据，如果您的序列文件不是块压缩的，那么您应该能够相对较少地在客户端格式化数据。您可以这样做:通过客户端上的序列文件编写器运行输入，然后使用输出进行上传(可以是整个文件，也可以是表示自上次追加以来的增量的切片)。

您可以阅读有关序列文件格式here的更多信息。