开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >Manifoldcf文档爬行速度慢

问Manifoldcf文档爬行速度慢
EN

Stack Overflow用户

提问于 2019-01-16 15:56:50

回答 1查看 69关注 0票数 0

我们使用ManiFoldCF documentum连接器从DCTM存储库中抓取数据，并将抓取的数据写入MongoDB。使用节流值500触发了爬网。但是爬网速度非常慢，连接器每分钟只能提取170个文档。安装MCF的服务器配置有足够的内存和8个逻辑核心(CPU)。有人能帮我们提高爬行速度吗？

EN

回答 1

Stack Overflow用户

发布于 2019-06-20 23:58:29

更好地调优爬行数据库(PostgreSQL)是一个很好的开始。

这里有一些你可以使用的引用：https://manifoldcf.apache.org/release/release-2.13/en_US/performance-tuning.html

票数 0

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/54212531

复制

相似问题