回答情况：
提问时间：
问题标签：
我试图将avro文件合并成一个大文件，问题是concat命令不接受通配符
hadoop jar avro-tools.jar concat /input/part* /output/bigfile.avro
浏览 4修改于2017-06-29得票数 9
回答已采纳
我找不到工具来检查avro模式是否遵循avro规范。我怎样才能检查这个？更重要的是，如果我使用根据avro模式验证json的工具来尝试我的avro模式，我会得到一个未指明的错误或崩溃。有没有工具可以验证avro模式本身？
浏览 1修改于2019-02-13得票数 1
实际上，我的问题类似于下面的链接中显示的答案(其中显示了使用avsc javascript库进行序列化/去序列化)，但我需要一个解决方案来序列化到avro，并使用apache avro for java对其进行反序列化…… Json数组的Avro架构 https://avro.apache.org/docs/current/gettingstartedjava.html 数据 [
{"id":1,"":"some
浏览 35修改于2021-02-26得票数 0
回答已采纳
3回答
我是相当新的AVRO，所以请原谅，如果我错过了任何明显的东西。是否有一个AVRO验证器/命令行实用程序可以根据AVRO模式验证输入？或者可能指向json输入中的错误所在。
浏览 0修改于2012-04-17得票数 8
回答已采纳
正在尝试读取avro文件。val df = spark.read.avro(file)尝试手动创建架构，但现在遇到以下问题(file)
com.databricks.spark.avro.SchemaConverters$IncompatibleSchemaException:无法将Avro架构转换为催化剂类型，因为路径处的架构不兼容源Avro模式："nul
浏览 0修改于2018-06-15得票数 1
我使用的是Scala 2.12和Avro (org.apache.avro) 1.8。at org.apache.avro.generic.GenericData.getField(GenericData.java:697) at org.apache.avro.generic.GenericDatumWriter.writeRecord(GenericDatumWri
浏览 0修改于2019-03-21得票数 0
我正在尝试使用avro-tools-1.7.4.jar create schema命令创建两个Avro模式。我有两个JSON模式，如下所示： "name": "TestAvro", "namespace": "com.avro.test",
"fields":amount", "type": "double&
浏览 0提问于2014-03-17得票数 5
回答已采纳
我们使用了两个名为"avro_json_serializer“和"avro”的python-Avro模块。当我尝试反序列化我放在一起的简单Avro文件时，它们会起作用。Kafka消息中Avro数据的Avro模式是通过使用HTTP GET从Confluent的模式注册表中获得的。我将Kafka消息中的schema和Avro数据放入两个文件中，下面是我的测试程序：import avro_jso
浏览 1提问于2016-03-01得票数 0
使用AvroTools提取avro文件的模式，然后将其编译成Java类(RxAvro.java)。每当我尝试使用Avro对象时，我都会得到以下com.xxx.yyy.zz.jobs.actions.test.RxAvro：java.lang.ClassCastException: org.apache.avro.generic.GenericDataorg.apache.hadoop.mapred.YarnChild:
Exception running child : java.lang.ClassCastException: org.
浏览 0提问于2018-01-05得票数 0
我使用Apache avro进行数据序列化。由于数据具有固定的模式，因此我不希望该模式成为序列化数据的一部分。在下面的示例中，模式是avro文件"users.avro“的一部分。setFavoriteNumber(null)File file = new File("users.avronew DataFileWriter<User (userDatumWrite
浏览 1提问于2015-03-02得票数 12
回答已采纳
我有一个用例将JSON数据转换为一个Avro特定的记录。当我说JSON时，它是普通的JSON ( Avro不生成具有类型信息的JSON)。我有Avro Schema及其生成的类。当我试图转换使用Avro实用工具时，我会得到以下异常如果由Avro库生成JSON，则Avro实用程序运行良好，因为它向JSON添加了类型和联合信息。上面的问题是关于通用用例的，但是，我有模式及其生成的类，所以当我使用Java的模
浏览 5提问于2021-03-03得票数 0
.port = 41414a1.sources = avro1a1.channels = c1
a1.sources.avro1.channels = c1
a1.sources.avro1每当文件是有效的AVRO文件时，我就使用hue UI进行检查。
浏览 2提问于2014-02-07得票数 5
回答已采纳
"\"fields\": [" "]}";avro_datum_tfoo_record = avro_record(schema);avro_datum_t nullableint = <e
浏览 0提问于2018-09-05得票数 1
2回答
我正在寻找地图Avro模型。给定Avro A的输入，我需要对其进行转换并返回Avro B。
用例是我从服务接收Avro模型，转换它们以匹配我们的用例，并在新的Avro模型中恢复它们。Avro返回随机的平面零件，而map容易与Hash的Java变体混淆，这使得查找结果变得很有趣。对于上下文，我将map称为一个函数，该函数应用于元素列表以对其进行转换。
浏览 4提问于2014-05-27得票数 3
通过套接字发送avro(avro c)编码的数据我正在尝试通过套接字发送一个avro编码的数据，并将其转换成字节数组(使用memcpy).What，如下所示avro_datum_tt_msg = avro_record(temp_schema);
avro_record_set(t_msg, "TIME", time_datum) // encoded like this), 0,
浏览 0提问于2013-10-21得票数 0
我试着在Spark中使用Avro GenericRecords，但得到了一个java.io.NotSerializableException: org.apache.avro.mapred.AvroWrapperchill项目为Scala添加了Kryo/Avro支持。我如何结合Kryo，Avro，chill和Spark来加载Avros？
浏览 2修改于2014-06-05得票数 3
如何有效地将新的avro记录添加到现有avro文件中。我的avro文件将继续增长的大小，我不想打开文件到memory.Could你请告诉我们，我们可以如何有效地实现这一点。
浏览 1提问于2015-11-23得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号