当我使用有1小时间隔的会话窗口时,在处理了数百万条消息后,我在日志中得到了错误,可能只是一些行:
TypeError: Cannot convert GlobalWindow to apache_beam.utils.windowed_value._IntervalWindowBase代码:
grouped_tis = tracking_informations | beam.WindowInto(window.Sessions(session_window_gap)) | beam.GroupByKey() | beam.ParDo(MergeTI()) | "TI model -> json" >> beam.Map(jsons.dump)发布于 2020-04-17 01:27:49
这可能是因为一些代码(比如MergeTI)返回GlobalWindow中的元素,而PCollection有一个不同的窗口集:beam.WindowInto(window.Sessions(session_window_gap))。
https://stackoverflow.com/questions/56705759
复制相似问题