首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >使用YourKit分析Spark应用程序

使用YourKit分析Spark应用程序
EN

Stack Overflow用户
提问于 2017-06-12 19:34:31
回答 0查看 603关注 0票数 1

我有一个Cloudera 5.10集群。对于分析,我使用参数运行spark-submit:

代码语言:javascript
复制
--conf "spark.driver.extraJavaOptions= -agentpath:/root/yjp-2017.02/bin/linux-x86-64/libyjpagent.so=sampling"
--conf "spark.executor.extraJavaOptions= -agentpath:/root/yjp-2017.02/bin/linux-x86-64/libyjpagent.so=sampling"

而且它只对驾驶员有效。当我对executor使用这个选项时,我得到了一个异常

代码语言:javascript
复制
Stack trace: ExitCodeException exitCode=1:
        at org.apache.hadoop.util.Shell.runCommand(Shell.java:601)
        at org.apache.hadoop.util.Shell.run(Shell.java:504)
        at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:786)
        at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:213)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:748)

我找不到任何有用的日志,也找不到我在每个节点上得到的相同异常。如果我使用这个手册enter link description here,也是一样的

如果我只将配置留给驱动程序,一切都工作正常,并且我可以使用YourKit连接到驱动程序,这会是什么问题?

EN

回答

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/44498452

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档