如何使用scrapy下载amazon-s3图像

Question

我正在尝试使用刮伤下载图像，但问题是，我找不到路径来获取该图像url。他们正在使用s3作为他们的图像。这就是为什么如果我输入view(响应)，我可以看到空白图库。那么我如何获得路径或图像链接呢？这是网站链接。请看一下站点

Answer 1

• 您可以使用这个xpath：response.xpath('//meta[@property="og:image"]').extract_first()获得主映像
• 如果您想要所有的图像:图片的链接存在于html中，但是隐藏在json结构中。以下代码将json-结构加载到python字典中，并收集图像链接：

import json
image_json = response.xpath('//*[@type="text/x-magento-init"][contains(text(), "mage/gallery/gallery")]/text()').extract_first().strip()
image_dict = json.loads(image_json)
images_data = image_dict['[data-gallery-role=gallery-placeholder]']['mage/gallery/gallery']['data']
image_urls = [image_data['img'] for image_data in images_data]