运行Amazon EMR作业时出现“文件不存在”错误

Question

我已上载我的data genotype1_large_ind_large.txt phenotype1_large_ind_large_1.txt

到S3系统，在EMR中，我设置如下参数

可伸缩性输出s3n:// s3n://scalability/genotype1_large_ind_large.txt s3n://scalability/phenotype1_large_ind_large_1.txt / RunDear.run _1phe 33 10 4

在我的类RunDear.run中，我会将文件genotype1_large_ind_large.txt和phenotype1_large_ind_large_1.txt分发到缓存

但是，在运行电子病历之后，我得到了以下错误: java.io.FileNotFoundException: File I not exist: /genotype1_large_ind_large.txt

我想知道为什么在文件名前面有斜杠'/‘？如何让它工作？

我也试着像下面这样使用，但我的程序将以-cacheFile作为参数，因此也不起作用。

可伸缩性可伸缩性输出s3n://scalability/phenotype1_large_ind_large_1.txt#phenotype.txt s3n:// RunDear.run / -cacheFile _1phe 33 280 4

Answer 1

我最终意识到这是使用文件系统的问题，所以我在程序中添加了如下代码: filesystem fs = FileSystem.get( URI.create("s3://scalability")，conf)；