Spark读取Avro文件

Question

我使用的是com.databricks.spark.avro。当我在spark-shell中运行它时，就像这样：spark-shell --jar spark-avro_2.11-4.0.0.jar，我可以通过这样的方式读取文件：

import org.apache.spark.sql.SQLContext
val sqlContext = new SQLContext(sc)
val avroInput = sqlContext.read.format("com.databricks.spark.avro").load(inputPath)
avroInput.write.format("com.databricks.spark.avro").save(outputPath)

但是如果我尝试使用sbt clean run在我的项目中做同样的事情，我会得到：

java.lang.ClassNotFoundException: Failed to find data source: org.apache.spark.sql.avro.AvroFileFormat. Please find packages at http://spark.apache.org/third-party-projects.html
[info]   at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:657)
[info]   at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:194)
[info]   at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:178)
[info]   at com.databricks.spark.avro.package$AvroDataFrameReader$$anonfun$avro$2.apply(package.scala:34)

"com.databricks" %% "spark-avro" % "4.0.0"在我的依赖项中列出，它在我的外部库中。我还遗漏了另一个依赖项吗？

Answer 1

事实证明我不需要使用databricks jar。我将apache spark avro添加到我的依赖项中：

"org.apache.spark"             %% "spark-avro"           % "2.4.0"

我可以把我的avro文件读入DataFrame

val avroInput = sparkSession.read
  .format("avro")
  .load("/pathtoFile/avroFile.avro")

Answer 2

看看https://spark.apache.org/docs/latest/sql-data-sources-avro.html#deploying，看看如何通过spark-submit命令将Avro jar与您的应用程序jar一起部署。具体来说，您需要使用--packages选项。这也适用于spark-shell。