在php中抓取图片

Question

问题是如何获得ajax调用的源代码？这不是抓取的，例如如何抓取像这样的链接上的图片？http://www.tiendeo.nl/Catalogi/amsterdam/16558&subori=web_sliders&buscar=Boni&sw=1366

如果您确实检查了元素，那么它将在图片所在的中间显示正确的代码。但是如何抓取它呢？如果您点击下一页，那么它将在源中包含其他图像。如何获取所有图片的源码？

Answer 1

如果我正确理解了您的问题(如何抓取通过ajax调用加载到页面中的信息？)，答案是您要么需要某种支持javascript的爬虫，要么需要检查javascript以确定正在轮询哪些资源来加载您感兴趣的内容。在PHP中，您应该能够向这些curl发送curl get请求，并接收站点的javascript用来呈现条目的相同响应。

后一种选择有一些好处--即您很可能能够获得对请求的简单、易于使用的JSON响应。

就像大多数网络抓取工作一样，一些内容提供商往往不会欣赏你对他们的数据的兴趣(特别是如果你收集数据的方式给他们的系统或资源带来了不必要的压力)。请记住，他们会采取措施(技术或法律)来阻止你，如果他们注意到/想法。

Addendum：如果您希望抓取各种类似的站点，而不需要查看源代码来查找它们正在使用的资源，(为了便于讨论，假设您只是试图从几个出售相同类型商品的站点中天真地抓取特定大小的所有图像)，那么您将需要前一种选择--某种类型的javascript感知的刮取器。我不知道是否存在这样的东西，但它不会让我感到惊讶。