首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >构建了Scrapy爬虫,但它不是跟随链接

构建了Scrapy爬虫,但它不是跟随链接
EN

Stack Overflow用户
提问于 2016-09-02 10:12:16
回答 1查看 10关注 0票数 0

我写了一个简单的爬虫来获取徒步旅行的链接。它似乎根本没有查看URL来抓取站点:

代码语言:javascript
复制
[scrapy] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)

这是我的简单爬虫:

代码语言:javascript
复制
from scrapy.spiders import Spider
 from scrapy.selector import Selector

 from oregon_hikes_scrapper.items import HikeLinkItem


 ENDPOINTS = [ 'from="%27%27Peter_Iredale%27%27&to=Bonney_Meadows-Hidden_Meadows_Trail_Junction', \
               'from=Bonney_Meadows-Hidden_Meadow_Trail_Junction&to=Clatsop_Loop_Hike',
             ]

 class OrHikeSpider(Spider):
     name ='or_hikes'
     allowed_domains = "oregonhikers.org"
     start_url = [
         "http://www.oregonhikers.org/field_guide/Special:AllPages&" + l for l in ENDPOINTS
     ]

     def parse(self, response):
         hikes = Selector.xpath('//*[@id="mw-content-text"]/table[2]/tbody/tr[1]/td[1]/div/a')

         for hike in hikes:
             item = HikeLinkItem()
             item['hike'] = hike.xpath('@title').extract()
             item['link'] = hike.xpath('@href').extract()
             yield item
EN

回答 1

Stack Overflow用户

发布于 2016-09-02 10:25:46

语法错误:

用start_urls代替start_url

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/39283344

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档