默认窗口和默认触发器如何在apache波束中工作？

Question

我试图用默认触发器实现默认窗口，以评估行为，但它不会产生任何结果。

据阿帕奇·梁说：

-- PCollection的默认触发器是基于事件时间的，当波束的水印通过窗口的末端时，会发出窗口的结果，然后每次延迟数据到达时都会触发。

--如果您同时使用默认窗口配置和默认触发器，则默认触发器只发出一次，而延迟数据将被丢弃。这是因为默认的窗口配置允许延迟值为0。

我的代码：

Nb_items = lines | beam.CombineGlobally(beam.combiners.CountCombineFn()).without_defaults() \
                 | 'print' >> beam.ParDo(PrintFn())

只有在设置触发器时，它才会发出数据。

Nb_items = lines | 'window' >> beam.WindowInto(window.GlobalWindows(),
            trigger=trigger.AfterProcessingTime(10),
            accumulation_mode=trigger.AccumulationMode.DISCARDING) \
        | 'CountGlobally' >> beam.CombineGlobally(beam.combiners.CountCombineFn()).without_defaults() \
        | 'print' >> beam.ParDo(PrintFn())

如何在不设置触发器的情况下观察默认行为？

联合收割机改造中的问题是什么？

如果输入PCollection使用默认的全局窗口，默认行为是返回包含一个项的PCollection。该项的值来自您在应用组合

时指定的组合函数中的累加器

Answer 1

当前的问题是水印永远不会到达GlobalWindow的末尾。若要具有默认触发器，可以使用水印到达末端的任何其他窗口，例如：'window' >> beam.WindowInto(window.FixedWindows(10))

正如纪尧姆正确地问的那样，如果你在批处理上运行，触发器基本上被忽略了。

Answer 2

见下文资料来源：

https://github.com/apache/beam/blob/828b897a2439437d483b1bd7f2a04871f077bde0/examples/java/src/main/java/org/apache/beam/examples/complete/game/LeaderBoard.java#L274

有关的更多信息

https://stackoverflow.com/a/54151029/12149235