Hadoop hdfs cat管道edgenode到hdfs

Question

我正在尝试将数据从本地edgenode作为管道发送到hdfs。其目的是模拟来自外部服务器的数据经过边缘节点，命中管道，然后将其放入hdfs。这是我们的要求。我已经尝试了下面的命令，但它似乎停止了。

mkfifo my_pipe
cat mysqlfile.sql my_pipe & cat pipe | hdfs dfs -put /user/bob/test.txt

Answer 1

如果您cat命名管道，它将挂起，因为它等待，直到EOF。

如果你想使用管道来做这件事，也许你应该尝试一些更简单的方法，比如：

cat mysqlfile.sql | hadoop fs -put - /path/you/desire/file.txt

您将在this thread上找到一些有关命名管道、cat和tail的有用信息。