Progammatic浏览性能问题

Question

我使用Selenium (用Java语言)做程序化浏览(火狐)，为了加快页面加载速度，我通过在同一应用程序(Browsermob)中运行的程序化Java代理来防止加载外部内容(广告等)，因为我只需要网站的托管内容。

应用程序正在浏览数十万个页面，但不幸的是，几个小时后，速度明显降低(从~5s/页降至~30s/页)。

这是否与浏览器缓存大小有关？代理缓存？如何检查？任何指针或提示都是非常受欢迎的！

非常感谢，汤姆

Answer 1

您好，我会将您的用户代理改为类似Chrome的浏览器，以检查Firefox是否存在问题，或者是否与您的应用程序中的内存管理有关。

您是否要在查看多个视图后关闭浏览器？请记住，浏览器将缓存并开始占用大量内存。在你的应用程序中使用基于文本的浏览器(Lynx)可能会更好，如果你只是想获取文本内容，它可以减少很多开销。

因为内存泄漏会导致进程随着时间的推移而变慢，所以我会经常终止进程。