回答情况：
提问时间：
问题标签：
我正在测试从Spark 2.3.1升级到Spark 2.4的过程，其中包括新内置的spark-avro集成。从使用Databricks spark-avro 4.0.0包查看Spark 2.3.1下的测试avro文件来看，我们有以下字段/模式： {"name":"id","type":["string","null当我升级到Spark 2.4和内置的spark-avro 2.4.0包时，我有了这些新的字段/模式： {"na
浏览 36提问于2019-02-07得票数 2
回答已采纳
我是spark的新手，想要在avro文件上工作，但我不知道你应该使用哪个库，org.apache.avro还是spark-avro，我不知道这之间的实际区别是什么。
浏览 2提问于2019-06-07得票数 0
docs.databricks.com/spark/latest/structured-streaming/avro-dataframe.html#example-with-schema-registry 但是，我在spark-avro
浏览 19修改于2020-08-07得票数 0
回答已采纳
我正在使用databricks spark-avro将数据帧模式转换为avro schema.The返回的avro模式没有默认值。
浏览 1修改于2018-12-04得票数 1
我有一个java应用程序，它使用spark从各种数据源(hadoop、本地文件系统等)访问数据。各种格式(json、avro等)。 SparkSession spark = SparkSession .appName("Spark app") .getOrCreate(); .read()
.format(FORMAT)) //
浏览 45提问于2019-05-06得票数 0
在构建我的项目时，maven下载了依赖项spark-avro，版本为1.8.2和2.4.3，并且它打包了错误的版本。在我的pom.xml文件中，我只有spark-avro版本2.4.3，1.8.2是来自其他地方的可传递依赖。 </execution> </plugin>
正如您在顶部看到的，我在那里编写了s
浏览 15提问于2019-11-11得票数 0
kafka-schema-registry-client" % "5.4.1","org.apache.spark" %% "spark-avro据我所知，2.4.5是spark-avro的最新稳定版本，但它似乎不支持databricks docs中提到的相同签名。感谢您的投入。
浏览 12提问于2020-04-25得票数 1
回答已采纳
我知道有像databricks的spark-avro这样的库。但是所有的例子都是用Scala给出的。
浏览 19提问于2021-03-23得票数 1
这对我们来说是个问题，因为我们的spark-avro版本与Spark2.2.0不兼容。还有其他人经历过这个问题吗？我还没有找到任何从谷歌官方宣布的版本凸起的痕迹。
浏览 3提问于2017-07-18得票数 0
回答已采纳
我知道Databricks有一个非常棒的spark-avro包。为了引导这个jar文件到我的集群并使它工作，我需要采取哪些步骤？
浏览 6提问于2016-08-01得票数 1
回答已采纳
但这似乎对spark-avro不起作用。
注: 1)。我还在我的spark/conf文件夹中的spark-conf文件中添加了spark-csv和spark-avro的路径。
浏览 10提问于2017-02-07得票数 1
回答已采纳
我试图在Spark 2.0.0上找到bug的来源，我有一个映射，它将表名作为键，数据帧作为值，我循环遍历它，最后使用spark-avro (3.0.0-preview2)将所有内容写入S3目录。
浏览 11提问于2016-08-04得票数 1
回答已采纳
(nullale = true)root |-- id: string (nullale = true)
我正在用spark-avro
浏览 6提问于2018-01-29得票数 4
回答已采纳
org.scala-lang" % "scala-library" % "2.10.0-M3"
如果你需要更
浏览 5修改于2019-09-21得票数 3
com.databricks.spark.avro.package$AvroDataFrameReader$$anonfun$avro$2.apply(package.scala:34)
"com.databricks" %% "spark-avro
浏览 117修改于2018-12-11得票数 1
回答已采纳
我使用的是带有Spark 2.2.0、Spark-avro 4.0.0和Hive 2.1.1的Dataproc集群
Avro版本/包之间有相同的差异，但如果我使用Hive创建表，然后使用Spark编写文件
浏览 30提问于2017-12-18得票数 1
delta-core" % "0.7.0", "org.apache.spark" %% "spark-avro" % "3.0.0"
// "com.databricks" %% "spark-avro" % "3.
浏览 2提问于2021-03-01得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号