超快的屏幕抓取技术？

Question

我经常发现自己需要为内部目的做一些简单的屏幕抓取(例如，我使用的第三方服务只通过HTML发布报告)。我现在至少有两到三箱了。我可以使用并创建所有必要的屏幕抓取代码，但这需要一段时间。以下是我通常的做法：

1. 打开网站上的Charles，看看发生了什么。
2. 开始使用Apache HttpClient编写一些java代码，处理cookie和多个请求。
3. 使用Jericho来处理HTML的解析。

我希望我能快速地“记录我的会话”，然后将不同会话的内容参数化。假设只使用Charles获取所有请求HTTP，然后将相关的查询字符串或post参数化。我有一个可重用的http脚本。

已经有什么可以做的了吗？我记得当我在一家大公司工作时，曾经有一种工具，我们用的是水星互动公司的Load，它实际上有一个很好的方式来记录一个http会话并使它可重用(用于测试目的)。不幸的是，这个工具非常昂贵。

Answer 1

HtmlUnit是一个用Java编写的可编写脚本的无头浏览器。我们用它来做一些非常错误的，复杂的网页，它通常做得很好。

为了简化事情，您可以在Jython中运行它。最终的程序读起来更像是一个人如何使用浏览器的文字记录，而不是艰苦的工作。

Answer 2

您没有提到您想要用于什么；一个解决方案是，如果让web浏览器重复您的操作是一个可接受的解决方案，则只需使用Selenium之类的工具“编写”web浏览器的脚本。您可以使用硒IDE记录您所做的事情，然后更改参数。

Answer 3

我希望我能快速地“记录我的会话”，然后将不同会话的内容参数化。

如果您有Visual测试版本，那么它的web测试功能就是这样做的。如果你不使用VS或者想要一个独立的工具，我在OpenSpan上取得了很大的成功。它不仅仅是网络，它还做windows应用程序和java！