NFS而不是HDFS

Question

HDFS是Hadoop的核心，我明白。但如果我不想将数据存储在HDFS上，该怎么办？相反，我希望对存储在可通过NFS协议访问的远程服务器上的数据进行分析并运行Hadoop作业。我该怎么做？

例如，我想使用NFS服务器上的数据运行Teragen，如下所示：

hadoop jar hadoop-mapreduce-examples.jar teragen 1000000000 nfs://IP/some/path

我只是在寻找如何做到这一点的想法，我确实理解所有这些(HDFS与NFS)的影响。因此，虽然我很感谢有人告诉我这是一个坏主意，但我仍然想为我正在尝试的一些实验做这件事。

我也许可以编写一些代码来实现这一点，但任何我需要开始的地方都将是有帮助的和非常感激的。我也不想重复发明轮子。所以，如果像这样的东西已经存在，但我不知道，请发表评论并让我知道。我构建的任何东西都将是开源的，这样其他人也可以受益。

Answer 1

你知道这个网站吗：https://blog.netapp.com/blogs/run-big-data-analytics-natively-on-nfs-data/

看起来你可以在底层用NFS交换HDFS，而在更高的抽象层，一切都像以前一样工作，因为MapReduce/YARN将为你处理一切。

我不知道这是否有效，因为我们目前正在准备建立这样一个“原生NFS hadoop”。我会在几个月后给你更多的细节。