用Python模拟浏览器资源扩展行为

Question

我正在寻找一种模拟浏览器资源扩展行为的方法。

我试图解决的流程如下：

• 访问初始网址(例如http://example.dmn/index.htm)
• 解析收到的html响应(例如，index.htm)
• 查找浏览器通过索引解析将获取的资源，例如：
  • 图片
  • 闪光灯
  • 嵌入式视频/音频
  • 帧/iFrames

​

• 对找到的每个新资源递归地重复该过程。

我不期望跟随链接(href)，只有当第一次访问页面时浏览器会自动获取的页面资源。

你有什么建议来预编这个模拟吗？

有任何Python项目/库可以帮助吗？

谢谢

Answer 1

您可能希望查看风车试验框架，它允许您使用Python应用程序编写测试。

Answer 2

您可能想看看spider.py和罗博特解析器。除了那些自动做你想做的事情之外，你可以自己用BeautifulSoup挖掘HTML汤。

Answer 3

您可能想看看刮痕。

它可能没有提供您所需的所有功能，但可以很容易地进行扩展。