远程使用spark集群

Question

我正在尝试远程使用spark集群，所以基本上我有3个节点，1个master和2个worker，离我的笔记本“很远”，但我想用它们来进行计算。我可以很容易地连接到驱动程序，输入：./spark-shell --master spark://xxx.xxx:7077

我在驱动程序上的spark web界面上看到了我的应用程序，但操作没有执行，我认为是因为应该连接到我的工作人员有网络问题。所以我在spark-env.sh上设置了我的公网IP: SPARK_LOCAL_IP=XX.XX.15.215

但是这样做我得到了：

16/02/11 16:34:04 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.

16/02/11 16:34:04警告实用程序:服务'sparkDriver‘无法在端口0上绑定。正在尝试端口% 1。16/02/11 16:34:04警告实用工具:服务'sparkDriver‘无法在端口0上绑定。正在尝试端口% 1。16/02/11 16:34:04警告实用工具:服务'sparkDriver‘无法在端口0上绑定。正在尝试端口% 1。16/02/11 16:34:04警告实用工具:服务'sparkDriver‘无法在端口0上绑定。正在尝试端口% 1。16/02/11 16:34:04警告实用工具:服务'sparkDriver‘无法在端口0上绑定。正在尝试端口% 1。16/02/11 16:34:04警告实用工具:服务'sparkDriver‘无法在端口0上绑定。正在尝试端口% 1。16/02/11 16:34:04警告实用工具:服务'sparkDriver‘无法在端口0上绑定。正在尝试端口% 1。16/02/11 16:34:04警告实用工具:服务'sparkDriver‘无法在端口0上绑定。正在尝试端口% 1。16/02/11 16:34:04警告实用工具:服务'sparkDriver‘无法在端口0上绑定。正在尝试端口% 1。16/02/11 16:34:04警告实用工具:服务'sparkDriver‘无法在端口0上绑定。正在尝试端口% 1。16/02/11 16:34:04警告实用工具:服务'sparkDriver‘无法在端口0上绑定。正在尝试端口% 1。16/02/11 16:34:04警告实用工具:服务'sparkDriver‘无法在端口0上绑定。正在尝试端口% 1。16/02/11 16:34:04警告实用工具:服务'sparkDriver‘无法在端口0上绑定。正在尝试端口% 1。16/02/11 16:34:04警告实用工具:服务'sparkDriver‘无法在端口0上绑定。正在尝试端口% 1。16/02/11 16:34:04警告实用工具:服务'sparkDriver‘无法在端口0上绑定。正在尝试端口1.16/02/11 16:34:04错误SparkContext:初始化SparkContext时出错。

Answer 1

DNS条目必须正确，并且工作程序和主程序能够连接到驱动程序，这一点非常重要。如果无法使用主机名直接访问它们，则可以将spark.driver.host和spark.driver.port指定为spark提交命令的一部分。

有关我遇到的类似问题，请参阅this。