如何使用apache avro生成无模式avro文件？

Question

我使用Apache avro进行数据序列化。由于数据具有固定的模式，因此我不希望该模式成为序列化数据的一部分。在下面的示例中，模式是avro文件"users.avro“的一部分。

User user1 = new User();
user1.setName("Alyssa");
user1.setFavoriteNumber(256);
User user2 = new User("Ben", 7, "red");
User user3 = User.newBuilder()
         .setName("Charlie")
         .setFavoriteColor("blue")
         .setFavoriteNumber(null)
         .build();

// Serialize user1 and user2 to disk
File file = new File("users.avro");
DatumWriter<User> userDatumWriter = new SpecificDatumWriter<User>(User.class);
DataFileWriter<User> dataFileWriter = new DataFileWriter<User (userDatumWriter);
dataFileWriter.create(user1.getSchema(), new File("users.avro"));
dataFileWriter.append(user1);
dataFileWriter.append(user2);
dataFileWriter.append(user3);
dataFileWriter.close();

谁能告诉我如何存储不嵌入模式的avro文件？

Answer 1

在Here中，我解释了如何使用Apache Avro实现无模式序列化。一个配套的测试活动显示了一些您可能期望的性能数据。

example和test类展示了如何将数据读取器和写入器与code is on GitHub本身生成的存根类一起使用。

Answer 2

应该是可行的。

在给定编码器的情况下，您可以使用DatumWriter直接向ByteArrayOutputStream写入数据(然后可以将其写入java.io.File)。

下面是如何开始使用Scala (来自Salat-Avro)：

val baos = new ByteArrayOutputStream
val encoder = EncoderFactory.get().binaryEncoder(baos, null)
encoder.write(myRecord, encoder)