容错系统设计

Question

有一个DB作为数据存储和y (>5)台其他机器。有一台机器A每x分钟就有一次数据(更新)。Y台机器每隔x分钟从机器A获取数据，并更新数据库中的数据。每台机器做同样的事情都是为了容错。有没有一种干净的方法来对容错工作进行建模？

任何指点都是非常感谢的。

Answer 1

这是一个范围非常广的问题。数据是如何组织的？“数据库加载器”是如何从“数据产生”机器获取数据的？如果更新失败，会发生什么情况-是数据丢失还是必须不惜一切代价将其持久化？

我会做一些假设，并提出一个解决方案: 1.数据可以分区。2.您可以访问一个中央持久缓冲区。例如MSMQ或WebSphere MQ。

生成数据的机器将数据块放入中央队列中。每个块由一组记录is和相关属性的新值组成)-粒度由您决定。“数据库加载器”监听队列，每个加载器将一个块出队(争用仅在出队阶段，并且非常优化)，并更新其自己的ids集。通过这种方式，插入工作在机器之间分配，每个机器都处理自己的部分，如果一个机器崩溃，那么其他机器只会更努力地工作。

在更新失败的情况下，您可以将块返回到队列并稍后重试(事务性读取)。