如何恢复先前快照中不存在的红移数据？

Question

目前我们每1小时自动手动备份一次红移数据。假设一个集群宕机，并且从快照恢复数据，我还想恢复快照中不存在的数据。

附言:在我们移动到redshift之前，s3中有完整的数据。

我该如何解决这个问题？以便在快照恢复后将剩余数据从我的s3转换为红移。

Answer 1

你需要在Redshift和S3中都有一些指示器，这样你才能知道加载了哪些数据。

例如，如果S3上的数据按年、月、日和小时进行分区，如下所示：

s3://my_bucket/my_prefix/year=2017/month=3/day=11/hour=10/my_file_parts.pt001.gz

然后，您希望在Redshift表中有Year、Month、Day和Hour列，这样您就可以找到加载的最大分区。

SELECT  MAX(year||month||day||hour) FROM my_table

然后，您可以重新加载Redshift中当前不存在的任何分区。