利用数据融合的批处理CSV文件

Question

数据融合可以批量处理来自GCS的CSV文件吗？我需要处理多个文件夹的CSV文件(不同的结构)在我的当前项目的大查询，我需要使用数据融合。我尝试简单地将GCS节点连接到文件夹(而不是任何文件)的路径，将其连接到wrangler (解析为-csv :body '，‘true \ drop :body not太复杂’)，并将其连接到大查询多表接收器，但这不起作用("BigQuery多表没有输出。请检查接收器在某个时候是否调用了addOutput“)。根据我所看到的，要做到这一点，唯一的方法是创建一个大管道，手动将所有文件连接到单独的争用器和大型查询接收器，但这样的操作将非常耗时和乏味。有什么批次处理器我还不知道？

Answer 1

通过选择适当的类型，使用GCS源解析CSV。然后将其连接到BigQuery水槽。一定要指定完整的架构，因为这是在BigQuery Sink中使用的。该模式应该与您希望在BigQuery中看到的模式相对应。