AWS EMR spark-scala作业失败，出现AWS Datapipeline:线程"main“org.apache.spark.SparkException中出现异常

Question

我正在尝试使用Amazon Data-Pipeline在Amazon EMR集群上运行spark scala应用程序。在EMRActivity中添加的步骤如下所示：

command-runner.jar,spark-submit,--deploy-mode,cluster,--class,com.demo.GettingStarted,s3://myBucket/sampleApps/HelloWorld.jar

查看EMR日志后，作业始终失败，并显示以下堆栈跟踪：

线程“主”应用程序中出现异常:org.apache.spark.SparkException

application_1517065923932_0001 finished with failed status
    at org.apache.spark.deploy.yarn.Client.run(Client.scala:1034)
    at org.apache.spark.deploy.yarn.Client$.main(Client.scala:1081)
    at org.apache.spark.deploy.yarn.Client.main(Client.scala)

此错误的可能原因是什么？

这是一个示例应用程序，将Hello World打印到控制台。

同样的工作也适用于AWS EMR。

Answer 1

请检查一下资源管理器中的应用程序日志。如果在EMR中启用色调服务，则可以从UI查看日志。在色调中，转到工作流--> DashBoard ->工作流并查看作业和容器日志。我怀疑Oozie可能无法解析spark-defaults.conf参数。

当我在spark-defaults.conf中配置以下属性时，如果配置包含Oozie版本4.3.0中的空格，则oozie无法解析该配置。

spark.driver.extraJavaOptions -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70 -XX:MaxHeapFreeRatio=70 -XX:+CMSClassUnloadingEnabled -XX:OnOutOfMemoryError='kill -9%p‘spark.dynamicAllocation.enabled true spark.executor.extraJavaOptions -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70 -XX:MaxHeapFreeRatio=70 -XX:+CMSClassUnloadingEnabled -XX:OnOutOfMemoryError='kill -9%p’

Answer 2

我认为其中一个原因是您应该将jar的路径指定为{input.directoryPath}/HelloWorld.jar，其中input.directoryPath来自使用S3DataNode。

不过，如果你能找到准确的日志就更好了。

要查看驱动程序/执行器生成的日志，请转到: pipelineLogUri->EmrClusterId->{latest_run}->containers->application->container。最后一步，即容器，对于驱动程序日志，选择id为-1的容器，其余的日志(2,3,4...)将是通过executor实例生成的日志。