分布式爬虫和一致性

Question

这种情况下，我们有多个服务器(40+)同时抓取一个相同的网址(以确保我们有最小的遗留)并将数据保存到数据库(MySQL)中。

现在的问题是:数据来回切换。例如，由于crawler/数据库遗留问题，内容将在几秒钟内变为A <-> B <-> A <-> B <-> A。

有没有好的方法来预防它呢？我们正在用Perl编写爬虫，但是任何语言对我们来说都是很好的，因为我们可以借鉴背后的想法。

任何建议都将不胜感激。雷迪斯？ZeroMQ？

谢谢

Answer 1

Lock a row so another process cannot update it.