问在NiFi中，如果输出格式不是Avro，将数据转换为中间格式(avro)是否会带来任何好处？
EN

Stack Overflow用户

提问于 2019-10-30 10:43:28

回答 1查看 67关注 0票数 0

我有一个NiFi流，它从CSV文件中读取文本数据，进行一些处理，然后将数据输出到JSON中的Kafka。处理步骤主要是执行重复数据删除。

以下是当前流的架构：

Read CSV files ==> Processing (deduplication) ==> Convert to JSON ==> Push to Kafka

我正在考虑在读取数据后将其转换为Avro，然后进行处理。

建议的流程为：

Read CSV files ==> Convert to Avro ==> Processing (deduplication) ==> Convert to JSON ==> Push to Kafka

这是否会带来任何好处，或者这只是一个无用的中间步骤？

回答已采纳

发布于 2019-10-30 21:34:40

没有理由转换为Avro。您可以使用CSV读取器和JSON写入器配置PublishKafkaRecord，以便直接从CSV转到JSON。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/58618036

复制

相似问题

问在NiFi中，如果输出格式不是Avro，将数据转换为中间格式(avro)是否会带来任何好处？EN