hadoop fs -text vs hadoop fs -cat vs hadoop fs -get

Question

我相信下面所有的命令都可以用来将hdfs文件复制到本地文件系统。有什么不同/情景利弊。( Hadoop新手在这里)。

hadoop fs -text /hdfs_dir/* >> /local_dir/localfile.txt
hadoop fs -cat /hdfs_dir/* >> /local_dir/localfile.txt
hadoop fs -get /hdfs_dir/* >> /local_dir/

我的经验法则是避免对大文件使用'text‘和'cat’。(我使用它来复制我的MR作业的输出，在我的用例中通常较小)。

Answer 1

-cat和-text之间的主要区别是，text检测文件的编码，并尽可能将其解码为纯文本，而cat不会这样做。

例如，以这个lzo压缩文件为例。

使用文本：

hadoop fs -text hdfs://namenode:8020/user/hive/warehouse/database/000000_0.lzo_deflate
1,foo
2,bar
3,baz
4,hello
5,world

使用cat：

 hadoop fs -cat hdfs://namenode:8020/user/hive/warehouse/database/000000_0.lzo_deflate 
    ίiW3�I���2�IJ,�2�U\&:�99�\�:��E9)\֙��"

dfs -get命令用于将文件复制到本地文件系统。

Answer 2

hadoop fs -get 
hadoop fs -copyToLocal 

以上HDFS命令可用于将HDFS文件复制到本地系统。

hadoop fs -cat 

此命令将在标准输出(控制台或命令提示符)上显示HDFS文件的内容。

hadoop fs  -text 

这将显示hdfs文件的内容(但文本仅适用于SequenceFieFormat等zip和TextRecordInputStream格式)。

Answer 3

-text

用法: hadoop fs -text获取源文件，并以文本格式输出该文件。允许的格式为zip和TextRecordInputStream。

-cat

用法: hadoop fs -cat URI URI…将源路径复制到stdout。

-get

使用: hadoop fs -get -ignorecrc将文件复制到本地文件系统。未通过CRC检查的文件可以使用-ignorecrc选项进行复制。可以使用-crc选项复制文件和CRC。