如何在AWS EMR上通过调度器http api (tcp/8081)提交作业？

Question

我正试图通过tcp/8081向apache提交AWS上的作业。

我假设AWS具有类似于使用dispatcher的集群管理器的架构，如此页中所描述的那样，它将调度器web前端公开给客户端。然而，考虑到在线医生向flink提交作业的一般方法是使用aws，而不是通过tcp/8081。

我使用apache作为客户端，我需要的是dispatcher web前端。

在哪里可以找到相当于AWS上的tcp/8081的调度程序前端？

Answer 1

我在Flink仪表板上找到了Web Front end。

https://docs.aws.amazon.com/emr/latest/ReleaseGuide/flink-web-interface.html

对我来说，问题是ApplicationMaster指向内部地址，所以我不得不更改为公共dns来访问仪表板。

http://ec2-x-x-x-x.ap-northeast-1.compute.amazonaws.com:20888/proxy/application_1568859410287_0003/#/jobmanager/log

​

​

使用此地址，我能够向apache提交作业。您也可以通过yarn application --list获得相同的地址。但是，您必须登录到主节点或数据节点。

yarn application --list
19/09/20 06:37:51 INFO client.RMProxy: Connecting to ResourceManager at ip-172-31-15-54.ap-northeast-1.compute.internal/172.31.15.54:8032
Total number of applications (application-types: [] and states: [SUBMITTED, ACCEPTED, RUNNING]):1
                Application-Id      Application-Name        Application-Type          User           Queue                   State             Final-State             Progress                           Tracking-URL
application_1568859410287_0003  Flink session cluster           Apache Flink        hadoop         default                 RUNNING               UNDEFINED                 100%    http://ip-172-31-1-84.ap-northeast-1.compute.internal:38205