如何将存储在另一个(非分布式)服务器上的HDFS文件中的数据存档？

Question

我有一个项目文件夹，其中包含大约。50 GB (non-distributed hadoop集群(CDH5.14)上的文件，我需要归档和将移动到E 110另一个主机E 211或Linux中)。这只是一次作业--我不打算很快将数据带回HDFS，但是应该有一种方法将其部署回到分布式文件系统。做这件事的最佳方法是什么？不幸的是，我没有另一个hadoop集群或云环境来放置这些数据。如果有任何提示，我将不胜感激。

Answer 1

最佳解决方案可以依赖于实际数据(例如表、许多/几个平面文件)。如果你知道他们是怎么进去的，看逆线可能是合乎逻辑的第一步。

例如，如果您只使用put来放置文件，请考虑使用get。

如果你用Nifi把它弄进来，试试Nifi把它弄出来。

当数据在您的Linux盒上后，您可以使用SCP或类似FTP或挂载驱动器将其移动到所需的计算机。