Apache Crunch:如何设置多个输入路径？

Question

我有一个问题:当我使用Apache Crunch时，我不能设置多个输入路径。我该如何解决这个问题？

Answer 1

您可以通过指定列表中的所有输入路径来添加要压缩的多个输入文件。

public class Name {

public static void main(String[] args) {
    Pipeline pipeline =  new MRPipeline(Name.class, jobName, conf);
    List<Path> inputPathList = new ArrayList<>(); // Add your InputPaths here
    PCollection<String> source = From.sequenceFile(inputPathList, Text.class);
  }
}