在谷歌云平台-数据流中,当流式传输未绑定的PCollection (比如使用PubSubIO的PubSub主题)时,有没有一种有效的方法来启动和停止数据流中的波束管道?(示例在一天开始时运行,在一天结束时结束)是让调度程序拥有Cron App engine服务并启动上面的管道作业然后停止该作业的唯一方法吗?只是看看有没有其他的选择。
另外,如果我为无界PCollection选择窗口(比如从PubSub),有没有办法把文件写到一个可配置的目录中呢?每个窗口的每小时目录?我看到它为每个窗口创建一个文件。
https://stackoverflow.com/questions/51329540
复制相似问题