我有一个连续运行的爬虫(使用Perl ),我使用HTML::TreeBuilder对爬行的网页进行提取。我孜孜不倦地删除了我创建的HTML::TreeBuilder的每个实例,但是爬虫的内存占用却缓慢而稳定地上升(我正在看着它以10到30个字节的速度与每一个爬行的页面一起运行(我正在使用Valgrind来测量堆的使用情况)。
现在的流程是这样的:
有没有人暗示在LWP或TreeBuilder中是否存在内存泄漏?我读过很多关于LWP有内存泄漏的报道,但是我还没有看到关于这个问题的回应。
我正在运行Perl版本5.10.1
谢谢!
发布于 2012-02-15 09:46:24
我认为HTML::TreeBuilder存在这个问题。
您是否可以查看以下链接:
1) HTML::TreeBuilder中的Stackoverflow内存泄漏
2) 佩尔蒙的记忆泄露?我太笨了。
我希望这些链接能帮助你。
https://stackoverflow.com/questions/9287582
复制相似问题