在aws S3中读取分级文件的不同版本

Question

我有一个用例，在AWS S3阶段区域有不同版本的文件。现在我想阅读这些文件的一个特定版本，并将它们加载到雪花中。

Answer 1

您可以使用

复制到命令中。

在您的情况下，由于文件有不同的版本，因此建议您根据某些后缀或前缀对文件进行分区。完成此操作后，您可以创建一个外部阶段，并将该阶段指向特定的S3文件夹，因此您只从S3读取特定版本的文件。在这里，您可以节省时间和成本，因为您只扫描一个包含文件的特定S3文件夹，而不是整个S3桶。

更多细节可以在这里找到- https://docs.snowflake.com/en/sql-reference/sql/copy-into-table.html#loading-files-directly-from-an-external-location