清除或删除纱线(MR2)应用程序队列

Question

我正在使用Cloudera (CDH 5.16.2)进行测试。两天前，我运行了以下地图--还原应用程序：

yarn jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \
wordcount \
-Dmapreduce.job.reduces=8 \
/user/bigdata/randomtext \
/user/bigdata/wordcount

每当我启动集群并检查调度程序时，它都会显示存在已提交的应用程序。我已经尝试了下面的命令来杀死它们，命令输出显示它已经杀死了所有的应用程序，但是后来它们都再次出现。

for x in $(yarn application -list -appStates ACCEPTED | awk 'NR > 2 { print $1 }'); do yarn application -kill $x; done

这是fair-scheduler.xml的内容

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<allocations>
    <queue name="root">
        <schedulingPolicy>drf</schedulingPolicy>
        <queue name="default">
            <schedulingPolicy>drf</schedulingPolicy>
        </queue>
    </queue>
    <queuePlacementPolicy>
        <rule name="specified" create="false"/>
        <rule name="default" create="true"/>
    </queuePlacementPolicy>
</allocations>

​

​

只是想了解发生了什么，以及我如何杀死他们，因为这只是一个测试集群。

Answer 1

在我的例子中，我终于发现我的集群实际上被攻击了。发生此情况是因为Azure网络安全组(NSG)配置不正确。这也导致了高带宽收费(数据传输)，虽然我得到了放弃后，要求Azure团队。在限制了入站和出站流量之后，所有的事情都被排序了。我杀死了队列中的应用程序，然后它们再也没有出现。

我在网上查看，而且似乎基于Hadoop纱线的远程代码执行(RCE)实际上很常见。因此，请确保您的NSG配置正确。

参考：

• https://www.extrahop.com/company/blog/2018/detect-demonbot-exploiting-hadoop-yarn-remote-code-execution/

• https://www.cbronline.com/news/record-ddos-attack-aws