只移动读取Google数据融合管道的文件

Question

在一个执行时间有限的管道(30分钟)中，它的源是一个GCS桶，并作为一个目标BigQuery，在处理每个文件之后，我只想移动在管道中执行的文件，但是在条件和操作中只有GCS移动是可用的，困难在于它不允许区分源桶中的文件，并移动在第一个执行超过30分钟后开始执行时会导致数据丢失的所有内容。

对如何处理这个案子有什么想法吗？

我的管道看起来像这样

Answer 1

GCS移动插件不支持过滤器，这将帮助我guees。有一个现有的JIRA - https://cdap.atlassian.net/browse/PLUGIN-698要跟踪。

解决方法是使用具有通配符支持的File插件。