我尝试使用Kafka 0.9.0 version Java API向Kafka topic发送XML data,因为0.9.0 version建议使用Java API而不是Scala API来获得更好的性能。
http://kafka.apache.org/090/documentation.html#producerapi
我的XML文件有关于5 MB data的,什么是XML,我可以用来读取XML文件并转换为字符串,然后将该字符串发送到Kafka主题。
或者我可以将XML转换为JSON数据并将其发送给Kafka吗?另外,我是否应该考虑将我的XML数据拆分成多个少量数据并发送到Kafka Topic?
发布于 2016-10-08 19:18:49
读/写XML的API取决于程序员/环境。此外,除了简单的键/值模型之外,Apache Kafka不强制任何特定的事件数据格式。它同样适用于XML、JSON、Avro或任何其他数据格式。建议使用任何格式,无论是XML、JSON,只要以一致的方式使用即可。如果你正在使用Kafka开始一个新的项目,在选择和使用正确的序列化格式之前,有一些事情需要考虑,比如性能,易用性,编程语言支持等。Avro是最成功的流数据格式之一。
https://stackoverflow.com/questions/39931560
复制相似问题