回答情况：
提问时间：
问题标签：
我正在尝试实现一个简单的web爬虫，我已经编写了一个简单的代码来开始:有两个模块fetcher.py和crawler.py。)) return fdes
defaultSeed = "http://www.python.orgpy", line 169, in __init__
self.builder.prepare_markup(markup, from_encoding
浏览 1提问于2013-01-23得票数 0
回答已采纳
我正试着从图片中提取标题。我已经成功地提取了url，但不确定如何对图像标题的提取进行编码。
from bs4 import BeautifulSoup
page = 1 url = 'http://www.gurstree.com.au/s—cars—vans—utes/melbourne/page—' + str(page) + '/c1832013001317'
浏览 1修改于2017-01-26得票数 0
我想爬(轻轻)一个网站，并下载每一个HTML页面，我爬行。为此，我使用库请求。我已经做了爬行清单，我尝试使用urllib.open爬行，但是没有用户代理，我会得到一个错误消息。所以我选择使用请求，但我不知道如何使用它。 'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'page = requests.get('http://www.xf.com/ranking/get/?Amount=1&
浏览 4修改于2015-09-26得票数 0
回答已采纳
我有一个爬虫的基本结构。现在我在一些php驱动的网站上发布了它，它就像一个护身符。不过，现在我想让它从ajax内容构建数据表。目前，我正在使用Mechanize for PYTHON和perl来构建我的爬虫。虽然机械化模块不执行AJAX。如何访问由异步ajax构建的内容？
浏览 2提问于2012-01-26得票数 2
回答已采纳
我正在用Python编写维基百科的网页爬虫。我提取页面的语言信息，其中包含中文、日语等语言的多个字符，当我得到我想要的字符串时，将它们打印出来，它们用ascii编码。结果是：
.
浏览 3修改于2014-12-13得票数 0
回答已采纳
我是一个网络蜘蛛的初学者，当我使用aiohttp的时候，我感到很困惑。这是我的代码： 'Referer': 'https://www.mzitu.com/',
'Accept': "tex
浏览 5修改于2019-03-05得票数 0
回答已采纳
所以我知道我可以用这个xpath找到这个数字，但是当我试图运行python scrpit来查找和保存这个号码时，它说它找不到它。
浏览 3修改于2017-05-23得票数 2
回答已采纳
当我编写python爬虫时，我经常使用urlopen。有时它无法打开url (所以我得到一个错误)，但当我重新尝试打开这个url时，它成功了。因此，我通过这样编写爬虫来处理这种情况：'''open the url and return its content'''
req = urllib.request.Request
浏览 3提问于2016-05-03得票数 0
1回答
python爬虫学习的难度在哪里？
python、爬虫
看到很多小伙伴刚入行学习python,大环境下大家对python的热情相比较过去没有那么高涨，正在学习的对未来的方向也表示有的迷茫，关于python学校的难度也各有看法，大家觉得python的难度有哪些
浏览 224提问于2023-02-28
我正在尝试运行一个我在网上找到的例子
但是，我在通过Python3.5.2Shell运行它时遇到了问题。
浏览 12提问于2016-08-18得票数 0
回答已采纳
我尝试用imdb包编写一个简单的python程序，从他们的数据库中提取电影信息，但是我不知道为什么代码返回空列表。我的猜测是我提取url信息的方式(通过使用(.*?))从网站上看是错的。
浏览 3提问于2016-03-23得票数 0
回答已采纳
0回答
使用Python爬虫，怎么处理反爬机制？
python、爬虫、验证码、requests、数据
我用Python requests来请求数据，但经常出现bug，要没ip无效，要么需要验证码，怎么处理呢？
浏览 157提问于2025-07-19
我的目标是构建一个分布式爬虫，它一次处理超过一个网站，同时也处理多个查询。为此，我使用“请求”和“BeautifulSoup”等标准包在Python中构建了一个web爬虫。效果很好。
浏览 2修改于2017-07-30得票数 1
我想询问是否有任何方法可以让我的爬虫一直到页面底部，并等待页面加载(以便加载的帖子的html将被添加)。<html></html>标签将只显示当前存在的帖子，而我的爬虫程序将停止。
浏览 1修改于2017-05-30得票数 1
我目前正在用Scrapy编写职位空缺刮板，以解析约3M的职位空缺项目。现在我在适当的地方，当蜘蛛工作，并成功地抓取项目并将其存储到postgreesql中，但问题是它做起来相当慢。在1小时内，我只存储了12000个职位空缺，所以我真的离300万个空缺还很远。问题是，最终我需要每天抓取和更新一次数据，而按照目前的性能，我需要一天以上的时间来解析所有数据。我的蜘蛛代码：import urllib.requestfrom ..items
浏览 2提问于2019-11-03得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号