spark-shell中未加载CSV格式

Question

使用spark 1.6，我尝试了以下代码：

val diamonds = spark.read.format("csv").option("header", "true").option("inferSchema", "true").load("/got_own/com_sep_fil.csv")

它导致了这个错误

error: not found: value spark

Answer 1

在Spark1.6shell中，您得到类型为SparkContext的sc，而不是类型为SparkSession的spark，如果您想获得该功能，则需要实例化SqlContext

import org.apache.spark.sql._
val spark = new SQLContext(sc)

Answer 2

sqlContext是一种隐式object SQL contect，可以用来加载csv文件，并使用com.databricks.spark.csv来表示csv文件格式

val df = sqlContext.read.format("csv").option("header", "true").option("inferSchema", "true").load("data.csv")

Answer 3

需要使用SQLContext(spark version<2.0)或SparkSession(spark version>=2.0)初始化实例才能使用Spark提供的方法。

要初始化spark版本低于2.0的spark实例，请使用：

import org.apache.spark.sql._
val spark = new SQLContext(sc)

要初始化spark版本>= 2.0的spark实例，请使用：

val spark = new SparkConf().setAppName("SparkSessionExample").setMaster("local")

使用spark1.6和databricks spark-csv包读取csv：val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("inferSchema", "true").load("data.csv")