如何优化AWS DMS MySql极光到红移复制？

Question

我一直在使用AWS DMS执行从MySql Aurora到Redshift的持续复制。但是，正在进行的复制会在目标系统上造成持续的25-30%的CPU负载。这是因为它在S3上生成了许多小文件，并不间断地加载/处理它们。Redshift并不是真正为处理大量小任务而设计的。

为了进行优化，我使该过程在每小时开始时开始，等待目标同步，然后停止。因此，它不是连续工作，而是在每个小时开始时工作5-8分钟。尽管如此，它仍然非常慢，而且没有得到优化，因为它仍然需要处理成百上千个小的s3文件，而且时间跨度更短。

这还能进一步优化吗？有没有办法告诉DMS在更长的一段时间内缓冲这些更改，而不是生成更少的大文件而不是许多小的s3文件？我们真的不介意有更高的目标延迟。

Aurora和Redshift之间传输的数据量相当小。每小时大约有20K的变化，我们使用4节点dc1大红移集群。它应该能够在几秒钟内处理这些20K的变化，而不是几分钟

Answer 1

也许，你可以试试BatchApplyTimeoutMin和BatchApplyTimeoutMax。https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Tasks.CustomizingTasks.TaskSettings.ChangeProcessingTuning.html

BatchApplyTimeoutMin设置AWS DMS在每次批处理更改应用之间等待的最短时间(以秒为单位)。默认值为1。

您可以将该值更改为1200，甚至3600。

Answer 2

在目标设置中提升maxFileSize - https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Target.Redshift.html