ManifoldCF和Postgresql将抓取150万个文档

Question

我们使用ManifoldCF和PostgreSQL9.6来抓取我们的网站。在500.000个文档之前，爬行的速度很好(大约为20.000个文档/小时)。在性能下降之后，我们可以看到爬行的长时间冻结(非常长)。我们怀疑postgresql重新构建了内部链接表的索引。有没有可能禁止这样做？通过postgresql的设置？

谢谢你，丹

Answer 1

您使用的MCF版本是什么？尝试最新版本: 2.13

大多数情况下，数据库会拖累性能。更好地调整PG会得到更好的结果

根据MCF指南：https://manifoldcf.apache.org/release/release-2.13/en_US/performance-tuning.html

你应该关闭PG自动清理，看看有没有帮助。

在调优过程中还有许多其他因素需要尝试。