spark错误: spark.read.format("org.apache.spark.csv")

Question

在从spark-shell启动命令后，我收到以下错误

scala> val df1 = spark.read.format("org.apache.spark.csv").option("inferSchema", true).option("header",true).option("delimiter", ",").csv("/user/mailtosudiptabiswa
s7917/src_files/movies_data_srcfile_sess06_01.csv")

<console>:21: error: not found: value spark
       val df1 = spark.read.format("org.apache.spark.csv").option("inferSchema", true).option("header",true).option("delimiter", ",").csv("/user/mailtosudiptabiswas7917/src_files/movies_data_srcfile_sess06_01.csv")

Do I need to import something explicitly.

请帮助完成命令集

谢谢。

Answer 1

看起来您使用的是旧版本的spark，您需要使用spark2.x或更高版本，并将隐式导入为

import spark.implicits._

然后

val df1 = spark.read.format("csv").option("inferSchema", true).option("header",true).option("delimiter", ",").csv("path") 

Answer 2

你甚至不会得到一台SparkSession。你使用的似乎是旧版本的Spark，你应该使用SQlContext，而且当你启动spark shell时，你还需要包含外部databricks csv库……

$SPARK_HOME/bin/spark-shell --packages com.databricks:spark-csv_2.11:1.5.0

然后从火花壳里面。

import org.apache.spark.sql.SQLContext

val sqlContext = new SQLContext(sc)
val df = sqlContext.read
    .format("com.databricks.spark.csv")
    .option("header", "true") // Use first line of all files as header
    .option("inferSchema", "true") // Automatically infer data types
    .load("cars.csv")

你可以查看更多关于它的信息here