网站数据检索

Question

最近的一个文章促使我开始了一个我已经工作了一段时间的项目。我想为一些网站创建一个web服务前端，以允许自动完成表单和从结果中检索数据以及站点的其他领域。我已经在一定程度上成功地使用了硒和自定义代码，但是我希望将其扩展到这样一个阶段:添加额外的站点是一项微不足道的任务(甚至不需要开发人员)。

Kapow web数据服务器看起来实现了很多这一点，但我被告知它是相当昂贵的(目前正在等待报价)。有没有人有这方面的经验，或可以提出任何替代方案(开放源码理想)？

免责声明：I认识到从第三方网站自动检索数据的潜在合法性问题--这个工具被设计用于一个价格比较系统，所有与它集成的网站都将在业主的明确许可下完成。如果站点提供API，这显然是最受欢迎的方法。

谢谢

Answer 1

意识到我已经有一段时间没有发布这篇文章了，但是如果有人看到它，我已经在使用WSO2框架(特别是mashup服务器)方面取得了很大的成功。对于数据挖掘任务，我还使用了一个Java库，这个包-web收集器-它已经实现了我所需要的一切。