如何让网络爬虫收集数据？

Question

我知道这是一个很大的问题，但我是一个完全的初学者。我在HTML，PHP等方面的经验有限，想拼凑一些东西，但甚至不知道从哪里开始。

虽然我不一定能编写每种语言的程序，但只要有一点指导，我就可以进行简单的剪切和粘贴，并且可以学到任何东西。我是一名教师，所以我有一个很长的暑假要用。

我想知道我是否可以得到一些东西，可以搜索活动和/或旅行路线的日期和价格，例如火车时间等，以便列出教育旅行和类似的东西。

任何帮助都将不胜感激。

Answer 1

开始的一种方法是使用不需要太多编码的工具。一旦你给SiteScraper一个匹配的模式，它就会学习你想要的东西。

Answer 2

选择一个framework/library/language

• You将需要一些东西来向相关页面发出HTTP

• 请求。

• GET将返回给你

1. 数据。使用您选择的任何语言/框架解析出您感兴趣的数据
2. 存储您的爬网数据(在数据库、xml文件或文本文件等中)

如果您发布了具体的详细信息请求，我们可以提供帮助，但这只是一般的想法