如何使用对位于中的多个文件进行准备？

Question

我从GCS中导入了一个文本文件，并使用DataPrep做了一些准备工作，并将它们作为CSV文件写回GCS。我想要做的是，对这个桶中的所有文本文件都这样做，有办法一次对这个桶中的所有文件(在GCS中)执行这个操作吗？

下面是我的程序。我从GCS中选择了一个文本文件(不能选择多个文本文件)，并做了一些准备工作(重命名列、.create、新列等等)。然后把它写回GCS作为CSV。

​

​

Answer 1

您可以使用Dataset和参数特性一次加载多个文件。

然后，可以使用通配符选择要加载的所有文件。请注意，所有文件都需要有相同的架构(相同的列)才能工作。

​

​

有关如何使用此功能的更多信息，请参见https://cloud.google.com/dataprep/docs/html/Create-Dataset-with-Parameters_118228628。

另一种解决方案是将所有文件添加到文件夹*中，并使用大型+按钮加载该文件夹中的所有文件。

*在技术上在GCS上使用相同的前缀