网站数据爬虫，发布数据和遍历

Question

虽然已经有相当多关于这些主题的帖子，但我的问题有点具体。我需要分析几个网站，一旦完成，我需要发送一些数据给它。例如，假设网站A为我提供了一个搜索选项卡，我需要以编程方式向其提供数据。根据目标站点的更新，结果页可能会有所不同。我想编写这样一个爬虫。那么，哪种工具/语言最适合实现这一点呢？我已经精通java和C语言，所以任何基于它们的东西都会很有帮助。

Answer 1

我建议使用phantomjs。它是完全免费的，支持Windows、Linux和Mac。

line.

• Community background.

• You'll它使用
• 作为脚本语言，所以我想，你可以很好地使用
• 来熟悉DOM结构。嗯，你不能在不知道的情况下编写爬虫(即使你选择了完全可视化的解决方案)。

一切都取决于爬虫程序的执行频率: PhantomJs非常适合长期作业。如果你正在寻找一次性的解决方案，可以使用其他的东西，比如iMacros。它可以在Mozilla中作为扩展使用(免费)，还有一个需要花钱的独立版本。

干杯