在哪个hadoop节点上将运行以下烫伤前处理和后处理？

Question

下面我有一些预处理的example代码，然后再运行作业和后处理。由于这些预处理和后处理正在调用mysql数据库，我想知道hadoop节点可能运行在哪些hadoop节点上？(我需要打开从这些节点到数据库的端口)它能运行预处理和后置处理任何hadoop data-node吗？我试着做了一些研究，但没有找到任何指示，怎么可能通过文档/源找到它将在哪个节点上运行呢？(PS作业由乌兹安排)

  preProcessingBeforeJobRuns() // **in which hadoop node would this be run? could it run on any datanode?**
  log.info(s"ABOUT TO RUN JOB with input $jobInput")
  val scaldingTool = new Tool
  scaldingTool.setJobConstructor(createJob(jobInput))
  val parser: GenericOptionsParser = new GenericOptionsParser(new Configuration(), args)
  scaldingTool.setConf(parser.getConfiguration)
  log.info(s"CALLING SCALDING RUN with args: ${args.toList.mkString(" ")}")
  val status = scaldingTool.run(args)
  log.info("FINISHED RUNNING JOB!")
  somePostJobProcessing() // **in which hadoop node would this be run? could it run on any datanode?**

Answer 1

您发布的代码将在Hadoop主节点上运行。scaldingTool.run(args)将触发您的作业，这将触发在任务节点上执行的作业。