无法在google-cloud-dataproc中启动spark thrift服务器

Question

我在google-cloud dataproc集群的10010端口启动spark sql的thrift服务器有困难，它失败了，出现以下错误，有人能帮我吗?，我试着更改端口号仍然没有成功。

sudo -u spark HIVE_SERVER2_THRIFT_PORT=10010 /usr/lib/spark/sbin/start-thrftserver.sh

日志如下：

16/11/30 23:47:16信息org.apache.hive.service.AbstractService:服务:节俭ThriftBinaryCLIService启动。16/11/30 23:47:16信息服务: org.apache.hive.service.AbstractService: hiveserver2启动。16/11/30 23:47:16错误org.apache.hive.service.cli.thrift.ThriftCLIService:错误启动HiveServer2:无法启动ThriftBinaryCLIService org.apache.thrift.transport.TTransportException:无法在地址0.0.0.0/0.0.0.0:10002上创建ServerSocket。在org.apache.thrift.transport.TServerSocket.(TServerSocket.java:109) at org.apache.thrift.transport.TServerSocket.(TServerSocket.java:91) at org.apache.thrift.transport.TServerSocket.(TServerSocket.java:87) at org.apache.hive.service.auth.HiveAuthFactory.getServerSocket(HiveAuthFactory.java:241) at org.apache.hive.service.cli.thrift.ThriftBinaryCLIService.run(ThriftBinaryCLIService.java:66) at java.lang.Thread.run(Thread.java:745) 16/11/30 23:47:16信息org.apache.hive.service.server.HiveServer2:正在关闭HiveServer2 16/11/30 23:47:16信息org.apache.hive.service.AbstractService:服务:节俭HiveServer2服务已停止。16/11/30 23:47:16信息org.apache.hive.service.AbstractService: Service:OperationManager已停止。16/11/30 23:47:16信息org.apache.hive.service.AbstractService:服务:会话管理器已停止。16/11/30 23:47:16信息org.apache.hive.service.AbstractService:服务:CLIService已停止。16/11/30 23:47:16信息org.apache.hive.service.AbstractService:停止服务:hiveserver2

Answer 1

我不是很确定为什么它不能工作，但我建议运行apt-get install spark-thriftserver。

默认情况下，服务器被配置为在端口10002上启动(就像您在本例中尝试做的那样)，但是您可以在spark-env.sh中更改这一设置。

同样值得注意的是，带有AppMaster和executor的Thrift服务器可以填满一个小集群，或者被另一个小的Spark作业阻塞。