从多台服务器拉取想要的ID内容

Question

假设我有一个有500台服务器的分布式系统。我有一个主数据库服务器，它存储一些元数据，每个条目的主键是内容ID。与内容ID相关的实际内容分布在500个服务器上。但并不是所有contentID的内容都在500台服务器上。假设只有一半的服务器在500台服务器上。

我如何才能找出还没有部署到500台服务器中的任何一台服务器的contentIDs？

我在考虑使用map reduce风格的方式来解决这个问题，但不确定这个过程会是什么样子。

Answer 1

根据问题中的上下文：

• 您可以在数据库中构建一个表，其中包含有关contentID到实例映射的信息。

• 每当实例具有给定内容ID的数据时，都需要进行调用并注册contentID。

• 如果您的实例可能会崩溃，并且您需要删除这些内容，则可以实现运行状况检查，它将尝试每30秒~1分钟更新一次数据库。

现在，当您需要访问给定contentID的instanceID时，无论它是否已加载，您都可以参考上表，检查该contentID是否有一个健康检查时间在1分钟内的instanceID。

注意:你也可以考虑使用Zookeeper或者像Redis这样的内存数据存储来存储这些数据。