问从数据库看apache.avro与spark-avro的区别
EN

Stack Overflow用户

提问于 2019-06-07 22:39:54

回答 1查看 72关注 0票数 0

我是spark的新手，想要在avro文件上工作，但我不知道你应该使用哪个库，org.apache.avro还是spark-avro，我不知道这之间的实际区别是什么。

发布于 2019-06-07 22:46:49

在Spark 2.4之前，没有官方的Spark对Avro的支持，所以任何想在Spark中使用Avro的人都必须使用Databricks库。随着Spark 2.4的发布，Databricks库已经迁移到Spark中，Databricks库现在已经归档。

因此，如果你使用的是Spark 2.4，你应该使用Avro的内置版本，但是对于Spark的早期版本，你需要使用Databricks版本。

资料来源：

Databricks已经将这个库捐赠给了Apache Spark项目，从Spark 2.4.0开始

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/56496438

复制

相似问题

问从数据库看apache.avro与spark-avro的区别EN