抓取:提取链接和文本

Question

我是新刮刮，我试图刮宜家的网站网页。包含给定here的位置列表的基本页面。

我的items.py文件如下所示：

import scrapy


class IkeaItem(scrapy.Item):

    name = scrapy.Field()
    link = scrapy.Field()

蜘蛛如下所示：

import  scrapy
from ikea.items import IkeaItem
class IkeaSpider(scrapy.Spider):
    name = 'ikea'

    allowed_domains = ['http://www.ikea.com/']

    start_urls = ['http://www.ikea.com/']

    def parse(self, response):
        for sel in response.xpath('//tr/td/a'):
            item = IkeaItem()
            item['name'] = sel.xpath('a/text()').extract()
            item['link'] = sel.xpath('a/@href').extract()

            yield item

在运行该文件时，我不会得到任何输出。json文件输出类似于：

[[{"link": [], "name": []}

我正在寻找的输出是位置和链接的名称。我什么也得不到。我哪里出问题了？

Answer 1

项目字段的xpath表达式中有一个简单的错误。循环已经遍历了a标记，您不需要在内部a表达式中指定a。换句话说，当前您在a标记中搜索tr中的td标记。结果很明显是一无所获。

将a/text()替换为text()，a/@href替换为@href。

(测试-为我工作)

Answer 2

用这个..。

    item['name'] = sel.xpath('//a/text()').extract()
    item['link'] = sel.xpath('//a/@href').extract()