这是我的工作代码:
from scrapy.item import Item, Field
class Test2Item(Item):
title = Field()
from scrapy.http import Request
from scrapy.conf import settings
from scrapy.selector import HtmlXPathSelector
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.spiders import CrawlSpider, Rule
class Khmer24Spider(CrawlSpider):
name = 'khmer24'
allowed_domains = ['www.khmer24.com']
start_urls = ['http://www.khmer24.com/']
USER_AGENT = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.22 (KHTML, like Gecko) Chrome/25.0.1364.97 Safari/537.22 AlexaToolbar/alxg-3.1"
DOWNLOAD_DELAY = 2
rules = (
Rule(SgmlLinkExtractor(allow=r'ad/.+/67-\d+\.html'), callback='parse_item', follow=True),
)
def parse_item(self, response):
hxs = HtmlXPathSelector(response)
i = Test2Item()
i['title'] = (hxs.select(('//div[@class="innerbox"]/h1/text()')).extract()[0]).strip(' \t\n\r')
return i它只能丢弃10或15条记录。总是随机的数字!我无法获取所有具有类似http://www.khmer24.com/ad/any-words/67-anynumber.html模式的页面
我真的怀疑Scrapy完成了爬行,因为重复了请求。他们建议使用dont_filter = True,然而,我不知道在我的代码中应该把它放在哪里。
我是Scrapy的新手,真的需要帮助。
发布于 2013-03-05 13:46:39
1.“他们建议使用dont_filter = True,然而,我不知道在我的代码中应该放在哪里。”
此参数位于CrawlSpider继承的BaseSpider中。(scrapy/spider.py),默认情况下设置为True。
2.“它只能销毁10到15条记录。”
原因:这是因为start_urls没有那么好。在这个问题中,爬行器开始在http://www.khmer24.com/中爬行,让我们假设它有10个urls要遵循(满足模式)。然后,蜘蛛继续爬行这10个urls。但是,由于这些页面包含的令人满意的模式太少,爬行器需要遵循一些urls (甚至没有urls),这会导致停止爬行。
可能的解决方案:我上面所说的原因只是重申了icecrime的观点。解决方案也是如此。
follow=True =(#提取所有链接并跟踪其中的链接#(因为默认情况下没有回调表示允许)#(如果没有给出"allow“,它将匹配所有链接。)Rule(SgmlLinkExtractor(allow=r'ad/.+/67-\d+.html'),(SgmlLinkExtractor()),#提取匹配“ad/any-words/67-anynumber.html.html”模式的链接#并使用爬行器的方法解析它们(不跟随它们) parse_item =‘parse_item_item’),)
https://stackoverflow.com/questions/15147057
复制相似问题