athena和合流模式注册中心

Question

我们计划将事件从Kafka卸载到S3 (例如通过使用kafka连接)。目标是拆分一个服务(例如，Athena)，并在导出的avro事件之上提供一个查询接口。障碍在于Athena (使用org.apache.hadoop.hive.serde2.avro.AvroSerDe)不支持模式注册表用于存储模式id的神奇字节。您知道有什么替代方案可以与合流模式注册中心合作吗？

谢谢!

Answer 1

使用S3连接的AvroConverter不会在文件中放置任何模式ID。实际上，在写入消息之后，您将完全失去模式ID。

我们有很多Hive表可以很好地处理这些文件，并且用户正在使用Athena，Presto查询。SparkSQL等

注意:如果您想使用AWS，S3连接不会(目前，5.x)提供像HDFS那样的自动Hive分区创建，所以如果您想要这样使用它，您可能需要寻找替代方法。