在AWS Elasticache上迁移多个独立Redis实例并将其合并到新的Redis集群中

Question

现在，我们将数据拆分到三个独立的Redis实例中，没有集群或分片。我们正在从目前的云服务提供商切换到AWS，并希望将所有这些数据存储在新的Elasticache Redis集群中，以便我们可以横向扩展。

不幸的是，当目标实例处于集群模式时，用于迁移的AWS-CLI工具不起作用，并且我无法在ElastiCache中手动使用SLAVEOF命令。看起来dump.rdb文件只能在您第一次启动redis服务器或第一次创建新EC集群时导入。

任何关于如何实现此迁移和合并过程的建议都将不胜感激。有没有办法把多个dump.rdb文件合并成一个文件？或者以某种方式将每个服务器的数据逐个传输到配置端点/主节点？

Answer 1

这不是一个优雅的解决方案，但以下是我所做的。我必须上传并合并我们所有的Redis数据到一个实例中。

启动一个新的Redis实例，该实例有足够的内存来容纳所有三个Redis实例的数据，然后安装redis-rdb-tools，它允许您将dump.rdb文件解析并转换为不同的格式：

https://github.com/sripathikrishnan/redis-rdb-tools

对于每个dump.rdb文件，我运行以下命令来生成由Redis协议组成的文件，这些文件稍后可以通过管道传输到新的Redis服务器：

rdb -c protocol dump1.rdb > dump1.protocol

将每个生成的文件通过管道传输到新的redis实例中：

cat dump1.protocol | redis-cli --pipe

完成后，使用redis-cli运行BGSAVE (background save command)以生成单个dump.rdb文件。

然后，您可以将dump.rdb文件上传到S3，并在ElastiCache中设置新的Redis集群时选择它作为所有数据的种子。

Answer 2

你有没有看过RIOT项目：

https://github.com/redis-developer/riot

您可以进行实时迁移。--我必须承认，我曾经将数据从Elasticache迁移到Redis Cloud，但您可以在任何方向使用它。