引导spark avro jar到Amazon EMR集群

Question

我想从齐柏林笔记本上阅读位于亚马逊S3中的avro文件。我知道Databricks有一个非常棒的spark-avro包。为了引导这个jar文件到我的集群并使它工作，我需要采取哪些步骤？

当我把这个写在笔记本上时，val df = sqlContext.read.avro("s3n://path_to_avro_files_in_one_bucket/")

我得到以下错误- <console>:34: error: value avro is not a member of org.apache.spark.sql.DataFrameReader

我看过这了。我想在那里发布的解决方案不适用于最新版本的Amazon。

如果有人能给我指点，那会很有帮助的。

Answer 1

下面是我如何关联火花-avro依赖关系。此方法适用于将任何其他依赖项关联起来触发。

1. 确保你的火花版本与你的火花-阿夫罗兼容。您将找到依赖项这里的详细信息。
2. 我把我的火花-阿夫罗文件放在我的S3桶里。您可以使用hdfs或任何其他存储。
3. 在启动EMR集群时，在配置中添加以下JSON：[{"classification":"spark-defaults", "properties":{"spark.files":"/path_to_spark-avro_jar_file", "spark.jars":"/path_to_spark-avro_jar_file"}, "configurations":[]}]

这不是唯一的办法。有关更多细节，请参阅此链接。

Answer 2

另一个选项是将--依赖项选项添加到星火壳或火花提交(这是为火花2.x)。

-包com.databricks:spark avro_2.11:4.0.0