HDP MapReduce作业并发

Question

我正在尝试使用sqoop将数据从Oracle导入到内部配置单元。我的sqoop查询运行得很好，但是当我试图在一个脚本中同时运行多个sqoop查询时，只有一个MapReduce作业在运行，而其他作业都在YARN上等待接受的队列。我尝试用sqoop导入的表大约有5亿行和100列。我对服务配置做了一些更改，但问题仍然存在。

有没有办法同时运行这些MapReduce作业？下面提到了我的集群信息。

HDP 3.0.1、Ambari 2.7.0、4个主节点、3个实用程序节点、7个工作节点。每个节点具有128 GB内存和32个CPU。Sqoop版本为1.4.7。谢谢。

​

​

​

​

​

​

​

​

​

Answer 1

需要调整yarnsite.xml以使用不同的调度策略。我相信FIFO是默认选择的。

过去，这是我用来设置Capacity Scheduler的网页。我认为您可能想要使用公平调度程序，但最终还是由您来选择。http://www.corejavaguru.com/bigdata/hadoop-tutorial/yarn-scheduler

注:提交作业时，可能需要添加其他配置参数。例如，在容量调度器中，您还需要定义应该添加作业的队列。