首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >抓取代码的性能优化

问抓取代码的性能优化
EN

Stack Overflow用户
提问于 2014-05-11 17:28:10
回答 1查看 340关注 0票数 0

我正在研究大数据的web抓取,所以我编写了以下代码来从我们校园的本地服务器获取一些信息。它工作得很好,但我认为它的性能非常慢;每条记录需要0.91秒才能存储到数据库中。代码的作用是打开一个网页,获取一些内容并将其存储在磁盘上。

我的目标是将抓取记录所用的时间降低到接近0.4秒(如果可能的话,或者更短)。

代码语言:javascript
复制
#!/usr/bin/env python

import scraperwiki
import requests
import lxml.html
for i in range(1, 150):
    try:
        html = requests.get("http://testserver.dc/"+str(i)"/").content 
        dom = lxml.html.fromstring(html)
        for entry in dom.cssselect('.rTopHeader'):
            name = entry.cssselect('.bold')[0].text_content()

        for entry in dom.cssselect('div#rProfile'):
            city = entry.cssselect('li:nth-child(2) span')[0].text_content()

        for entry in dom.cssselect('div#rProfile'):
            profile_id = entry.cssselect('li:nth-child(3) strong a')[0].get('href')
        profile = {
                'name':name,
                'city':city,
                'profile_id':profile_id
            }
        unique_keys = [ 'profile_id' ]
        scraperwiki.sql.save(unique_keys, profile)
        print jeeran_id            
    except:
        print 'Error: ' + str(i)
EN

回答 1

Stack Overflow用户

发布于 2014-05-11 18:57:59

这是非常好的,你有明确的目标,你想要优化的程度。

首先测量抓取所需的时间

很可能,限制因素是抓取urls。

简化你的代码和测量,它需要多长时间来抓取。如果这不符合您的计时标准(例如一个请求需要0.5秒),您必须并行进行抓取。搜索StackOverflow,有许多这样的问题和答案,使用线程,绿色线程等。

进一步的优化技巧

解析XML -使用迭代/ SAX方法

您的DOM创建可以转换为迭代解析。它需要更少的内存,而且速度往往要快得多。lxml允许使用像iterparse这样的方法。另请参阅related SO answer

优化写入数据库

一个接一个地编写多个记录可以转化为成批编写它们。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/23590956

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档