将数据从redis迁移到microsoft azure的最佳方式是什么

Question

我有成千上万的设备在现场运行，它们每分钟都在发送它们的位置数据。我们现在正计划使用Microsoft Azure Table和Redis，作为一个poc，我只在redis中存储了10个设备的位置数据，方法是为每个imei每季度一个小时创建密钥，比如在23-03-2017 15:01发送数据的redis密钥。对于imei，"abc“将是"abc2017032315Q1”。

每个Redis密钥的过期时间设置为2小时。现在我必须将这些数据移动到microsoft azure表中，我正计划为其编写一个作业，该作业将在最后一个小时内从redis读取数据并将其存储到Microsoft Azure表中，这将是最好的迁移方式，因为我将不得不对所有数千台设备执行相同的操作。

我使用的是Java。

Answer 1

我相信迁移Redis兼容的RDB文件应该是可行的，因为RDB文件可以导出和导入回Redis的任何部署环境。有关更多信息，请访问链接RDB

Answer 2

根据我的理解，您希望将过去一个小时的redis数据迁移到Azure Table Storage。据我所知，没有任何现有的工具来支持将数据从redis转移到Azure Table Storage。因此，唯一的方法是使用Azure Storage SDK for Java & Jedis构建一个作业，以编程方式完成它。

然而，考虑到数千台设备的redis数据大小，本地和云之间的传输作业似乎并不稳定和高效。您可以尝试使用redis-cli --rdb dump.rdb命令备份rdb文件，并临时创建一个Azure Redis Cache并将其import the rdb file到其中，然后以web job或Azure VM上的身份运行您的作业，通过Azure内部网络进行传输操作，最后删除临时Redis Cache和其他未使用的资源。