将文件从本地计算机直接复制到远程HDFS集群

Question

我想直接将文件从本地Linux机器复制到远程HDFS集群，也就是说，我不希望将文件复制到远程计算机，然后使用copyfromlocal命令将其移动到HDFS。

为此，我执行了以下命令，我在一个在线博客中找到了这个命令。

cat sample.txt | ssh -tt root@MY_HDFS_CLUSTER "sudo -u hdfs hdfs dfs -put - /user/myuser/data/sample/sample.txt"

在执行该命令时，我面临的问题是文件完全从本地机器复制到远程HDFS集群，但是文件sample.txt.COPYING是在远程HDFS集群中创建的，而不是sample.text文件。复制进程不确定地运行，换句话说，它不是终止，我必须使用Ctrl+C终止进程。

如果有人能帮我解决这个问题，我非常感激。

Answer 1

你的sample.txt文件有多大？我认为它可能很大，而且这个过程还没有结束，因为它还没有完成文件的复制。