在上的弹性MapReduce上定义HDFS文件

Question

我开始在Hadoop KMeans框架上实现MapReduce算法。在这方面，我使用了提供的弹性MapReduce。我想要创建一个HDFS文件，以保存初始集群坐标，并在其上存储还原器的最终结果。我完全糊涂了。是否有创建或“上传”该文件到HDFS格式，以便让所有映射者看到。

在这方面有任何澄清吗？

谢谢。

Answer 1

最后，我学会了如何去做。因此，为了将HDFS文件上传到集群中。您必须通过putty (使用安全密钥)连接到集群。

然后编写这些命令

HadoopdiscpS3://bucke_name/data/fileNameinS3Bucket HDFSfileName

使用fileNameinS3Bucket是s3桶中文件的名称，在我上传的时候，HDFSfileName是您想要命名的文件。

以检查文件是否已上载hadoop fs -ls。