WebHdfs中的校验和计算

Question

当使用"hdfs dfs -put“摄取文件时，客户端计算校验和，并将两个输入data+checksum发送到Datanode进行存储。

使用WebHdfs读/写文件时，校验和计算/验证是如何进行的？WebHdfs如何保证数据完整性？

apache上的Hadoop文档没有提到任何关于它的内容。

Answer 1

WebHDFS只是普通数据节点操作的一个代理。数据节点托管webhdfs servlet，这些servlet打开标准DFSClients并通过标准管道读取或写入数据。这是正常过程中的一个额外步骤，但不会从根本上改变它。这是一个brief overview。