使用camus属性将纪元时间戳转换为日期时间格式

Question

我的kafka消息有多个字段，其中包含长格式的纪元时间戳。我的消息看起来像这样：

{
    "someDate1":1512725505000,
    "someDate2":1518060461000,
    "ABC":"XYZ",
    "PQR":"MNO"
}

当使用camus属性文件中的某些属性加载到hdfs时，有没有办法将所有这些纪元时间戳转换为日期时间格式。

Answer 1

加缪已经折旧了--你最好使用卡夫卡连接的HDFS connector。它是开源的，可以使用standalone或作为Confluent Platform的一部分。

作为Kafka Connect的一部分，您可以使用Single Message Transforms将纪元转换为更具可读性的形式-请参阅org.apache.kafka.connect.transforms.TimestampConverter

有关单个消息转换的实际操作示例，请参阅此blog article here。