带有Apache Flink的自定义水印

Question

我正在研究可以插入到数据流中的水印类型。

虽然这可能超出了水印的用途，但我还是会问的。

您能创建一个包含时间戳和k/v对(this=that, that=this)的水印吗？

因此，水印将保存{12DEC180500GMT,this=that, that=this}。

或

{Timestamp, kvp1, kvp2, kvpN}

这样的事有可能吗？我已经查看了用户和API文档，但可能忽略了一些内容。

Answer 1

否，Flink中的水印类(在flink/flink-streaming/java/src/main/java/org/apache/flink/streaming/api/watermark/Watermark.java)中找到)除了MAX_WATERMARK有一个实例变量，即

/** The timestamp of the watermark in milliseconds. */
private final long timestamp;

因此，除了时间戳之外，水印不能携带任何信息，时间戳必须是一个长值。