如何在windows的ipython jupyter笔记本中添加Spark-csv-master？

Question

我正在使用apache-spark和ipython，并试图在notebook中加载csv文件。但是我得到了一个错误：Py4JJavaError: An error occurred while calling o22.load.

在搜索的过程中，我发现通过加载spark-csv可以解决这个问题。我想知道如何在windows的笔记本中加载spark-csv，以及是否有人能告诉我解决这个错误的另一种方法。我已经上传了一个错误的屏幕截图。

py4jjavaerror errorpic 2

Answer 1

我也有同样的问题。这就是我修复的方式。我使用的是anaconda 3.5 jupyter笔记本和Windows 10：

import os
import sys

SUBMIT_ARGS = "--packages com.databricks:spark-csv_2.11:1.4.0 pyspark-shell"
os.environ["PYSPARK_SUBMIT_ARGS"] = SUBMIT_ARGS

spark_home = os.environ.get('SPARK_HOME', None)
if not spark_home:
    raise ValueError('SPARK_HOME environment variable is not set')
sys.path.insert(0, os.path.join(spark_home, 'python'))
sys.path.insert(0, os.path.join(spark_home, 'C:/spark/python/lib/py4j-0.9-src.zip'))

exec(open(os.path.join(spark_home, 'C:/spark/python/pyspark/shell.py')).read()) # python 3


from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)

df = sqlContext.read.format('com.databricks.spark.csv').options(header='true').load('C:/spark_data/train.csv')

df.show()