首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Scrapy跟随链接未获取数据

问Scrapy跟随链接未获取数据
EN

Stack Overflow用户
提问于 2017-11-26 06:07:38
回答 0查看 303关注 0票数 0

我试图用一个简单的抓取蜘蛛来跟踪一个链接列表,并从每个链接中删除数据,但我遇到了麻烦。

在scrapy shell中,当我重新创建脚本时,它会发送新url的get请求,但是当我运行爬网时,我没有从链接中得到任何数据。我得到的唯一数据是从链接之前抓取的起始url。

如何从链接中抓取数据?

代码语言:javascript
复制
 import scrapy

    class QuotesSpider(scrapy.Spider):
        name = "players"
        start_urls = ['http://wiki.teamliquid.net/counterstrike/Portal:Teams']

        def parse(self, response):
            teams = response.xpath('//*[@id="mw-content-text"]/table[1]')
            for team in teams.css('span.team-template-text'):
                yield{
                    'teamName': team.css('a::text').extract_first()
                }


            urls = teams.css('span.team-template-text a::attr(href)')
            for url in urls:
                url = response.urljoin(url)
                yield scrapy.Request(url, callback=self.parse_team_info)


        def parse_team_info(self, response):
                yield{
                    'Test': response.css('span::text').extract_first()
                }
EN

回答

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/47490964

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档