初始化SparkContext时出错，在windows的ubuntu上运行Spark on bash

Question

我正在尝试在Windows上的ubuntu上的bash上安装和配置spark 2.0.1。我按照Apache Spark - Installation上的说明进行了安装，似乎一切都正常，但是当我运行spark-shell时，却发生了这种情况：

16/11/06 11:25:47 ERROR SparkContext: Error initializing SparkContext.
java.net.SocketException: Invalid argument
        at sun.nio.ch.Net.listen(Native Method)
        at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:224)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
        at io.netty.channel.socket.nio.NioServerSocketChannel.doBind(NioServerSocketChannel.java:125)
        at io.netty.channel.AbstractChannel$AbstractUnsafe.bind(AbstractChannel.java:485)
        at io.netty.channel.DefaultChannelPipeline$HeadContext.bind(DefaultChannelPipeline.java:1089)
        at io.netty.channel.AbstractChannelHandlerContext.invokeBind(AbstractChannelHandlerContext.java:430)
        at io.netty.channel.AbstractChannelHandlerContext.bind(AbstractChannelHandlerContext.java:415)
        at io.netty.channel.DefaultChannelPipeline.bind(DefaultChannelPipeline.java:903)
        at io.netty.channel.AbstractChannel.bind(AbstractChannel.java:198)
        at io.netty.bootstrap.AbstractBootstrap$2.run(AbstractBootstrap.java:348)
        at io.netty.util.concurrent.SingleThreadEventExecutor.runAllTasks(SingleThreadEventExecutor.java:357)
        at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:357)
        at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:111)
        at java.lang.Thread.run(Thread.java:745)

就在该错误之前，我看到一条警告，可能与此相关，也可能与此无关：

16/11/06 11:25:47 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
16/11/06 11:25:47 WARN Utils: Your hostname, DESKTOP-IKGIG97 resolves to a loopback address: 127.0.0.1; using 151.127.0.0 instead (on interface wifi0)
16/11/06 11:25:47 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address

我必须承认，我对linux还是个新手，所以我对下一步该做什么一无所知。如果重要的话，这里是/etc/hosts的内容

127.0.0.1 localhost
127.0.0.1 DESKTOP-IKGIG97

# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

希望这里的人能发现我的问题。要调查并修复此错误，我需要做些什么？

Answer 1

如错误所示，在安装Spark的目录中的conf/spark-env.sh脚本中添加SPARK_LOCAL_IP

http://spark.apache.org/docs/2.0.1/configuration.html

环境变量

某些Spark设置可以通过环境变量进行配置，这些变量是从安装Spark的目录中的conf/spark-env.sh脚本读取的(或者在Windows上是conf/spark-env.cmd )。在独立模式和Mesos模式下，此文件可以提供特定于计算机的信息，如主机名。当运行本地Spark应用程序或提交脚本时，它也是来源。

请注意，安装Spark时，默认情况下不存在conf/spark-env.sh。但是，您可以复制conf/spark-env.sh.template来创建它。确保将副本设置为可执行文件。

可以在spark-env.sh中设置以下变量

要绑定到的计算机的SPARK_LOCAL_IP IP地址。

如果它不能解决您的问题-请共享执行以下unix命令的输出：

ifconfig