哪个数据库用于web爬虫，以及如何在分布式环境中使用MySQL？

Question

我应该为网络爬虫使用哪个数据库引擎，InnoDB还是MYiSAM？我有两台电脑，每台都有1TB的硬盘。如果其中一个已满，我希望它自动保存到另一台PC，但读取应该保存到正确的PC；我该如何做到这一点？

Answer 1

至于你问题的第一部分，这取决于你的具体实施。如果您打算使用受网络带宽限制的单个爬虫，那么MYiSAM可能会更快。如果您使用多个爬虫，那么InnoDB将为您提供诸如事务等方面的优势，这可能会有所帮助。

AFAIK MySQL不支持您建议的硬件配置。如果你需要大容量存储，你可能不想考虑MySQL集群。

Answer 2

MyISAM是首选，因为您将拥有只写操作和爬虫程序--甚至是并行运行的--将被配置为--我认为--爬行不同的域/urls。因此，您不需要处理访问冲突。

在向Mysql写入大量数据时，尤其是文本！时，要避免使用事务、索引等，因为这会大大降低MySQL的速度。