如何获得Spark应用程序使用的内存和cpu？
如何获得Spark应用程序使用的内存和cpu？
提问于 2018-01-09 12:20:25
我想获得spark作业用于监视目的的平均资源利用率，如何轮询星火应用程序的cpu和内存利用率？
回答 2
Stack Overflow用户
回答已采纳
发布于 2018-01-12 19:30:04
你得把原木从纱线上拿出来
命令行: yarn application -logs {YourAppID}，您可以从spark作业的堆栈中获取applicationID，也可以从yarn application -list命令或UI获得applicationID。更多关于纱线的命令是这里。
FROM UI :如果您正在使用Cloudera，您可以从http://${LOCALHOST}:7180/cmf/services/17/applications中看到您可以使用http://${LOCALHOST}:8088/cluster访问DAG
Stack Overflow用户
发布于 2018-01-12 19:03:23
您可以查看stderr日志以获得已完成的Spark应用程序。去找亚恩资源经理。单击应用程序ID，然后在appattempt_*行的右侧“日志”。滚动到Log :stderr并单击“单击此处获取完整日志”。请查看日志中的如下内容：
"yarn.YarnAllocator: Will request 256 executor containers, each with 5 cores and 8576 MB memory including 384 MB overhead"页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/48168127
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号