使用run对话框(F11)在Eclipse中的远程集群上启动Hadoop减少作业

Question

是否可以使用(F11)在远程集群上启动Map作业？

目前，我必须使用外部工具链Dialog和Maven运行它。

注意:在本地集群上执行它的与Run对话框没有什么关系。但是对于远程连接来说，必须有一个编译好的JAR。否则，您将得到一个ClassNotFoundException (如果设置了Jar-By-Class，也是这样)

我们目前的设置是：

• Spring-Data-Hadoop 1.0.0
• STS - Springsource工具包
• Maven
• CDH4

这是我们在applicationContext.xml上设置的(这是在香草hadoop上的*-site.xml中指定的)

 <hdp:configuration id="hadoopConfiguration">
    fs.defaultFS=hdfs://carolin.ixcloud.net:8020
    mapred.job.tracker=michaela.ixcloud.net:8021
</hdp:configuration>

有没有方法告诉Eclipse在执行Run Dialog时应该构建一个JAR。

Answer 1

我不知道它是否构建了一个新的jar (可能您必须将一个jar解压缩到一个文件夹中)，添加"Run Configurations>Classpath“您的jar清除了问题"ClassNotFoundException”。