首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何对以下类型的网页进行分页?

问如何对以下类型的网页进行分页?
EN

Stack Overflow用户
提问于 2019-04-28 18:31:33
回答 1查看 18关注 0票数 0

我正在尝试对此站点的页面(http://www.geny-interim.com/offres/)进行分页。问题是我使用css选择器通过下面的代码遍历每个页面

代码语言:javascript
复制
next_page_url=response.css('a.page:nth-child(4)::attr(href)').extract_first()
        if next_page_url:
            yield scrapy.Request(next_page_url)

但这样做只会分页到两个页面,然后css选择器不会像预期的那样工作。我也试着使用这个:

代码语言:javascript
复制
response.xpath('//*[contains(text(), "›")]/@href/text()').extract_first()

但这也产生了值错误。任何帮助都会得到支持。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-04-28 21:41:00

此XPath表达式有一个问题

代码语言:javascript
复制
//*[contains(text(), "›")]/@href/text()

因为href属性没有text()属性。

这是一个工作蜘蛛,你可以根据你的需要进行调整:

代码语言:javascript
复制
# -*- coding: utf-8 -*-
import scrapy


class GenyInterimSpider(scrapy.Spider):
    name = 'geny-interim'
    start_urls = ['http://www.geny-interim.com/offres/']

    def parse(self, response):
        for offer in response.xpath('//div[contains(@class,"featured-box")]'):
            yield {
                'title': offer.xpath('.//h3/a/text()').extract_first()
            }
        next_page_url = response.xpath('//a[@class="page" and contains(.,"›")]/@href').extract_first()
        if next_page_url:
            yield scrapy.Request(response.urljoin(next_page_url), callback=self.parse)
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/55889364

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档