将所有表从redshift卸载到s3 - cpu使用率

Question

我们的目标是每隔几个小时卸载几个表(针对每个客户)，并以拼花格式将其卸载到s3

每个表约1GB (CSV格式)，在拼花中约为120 is。

问题是当运行2-3个并行卸载命令时，红移节点的cpu在集群中达到98%-100%。

这是我使用的命令：

unload ('select * from my_table')
to 's3://test_bucket'
iam_role 'my_arn'
allowoverwrite
format PARQUET;

我也试图卸载数据作为CSV，但节点也转到了大约98%-100%的CPU。

我想每隔几个小时保存一次整个表的快照(几个表)，而且我必须拥有所有的列，所以我必须使用select *。

还有另一种方法可以让我的红移CPU不会提高这么高吗？

节点类型为ra3.xlplus，有4个节点。

​

​

Answer 1

也许值得尝试一下，看看创建外部表在Amazon中是否运行得更快，然后使用插入(外部表)-将数据加载到其中？

您可以通过查看已经存在的内容来编写只插入增量数据的查询(如果行中有唯一标识符，则非常容易，或者增加时间戳)。否则，您将首先对外部表进行TRUNCATE，并将INSERT放入其中(但我还没有尝试过，因此我不确定TRUNCATE是否会在外部表上工作)。