回答情况：
提问时间：
问题标签：
1回答
我试图通过使用gem命令安装instagram爬虫：但我收到以下错误：
构建本机扩展。这需要一段时间..。错误:安装instagram爬虫时出错:错误:无法构建创业板本机扩展。当前目录: /var/lib/gems/2.5.0/gems/nokogiri-1.10.1/ext/nokogiri /usr/bin/ruby2.5 -r ./directory 20190
浏览 0提问于2019-02-05得票数 0
2回答
我需要创建一个可以加载到csv文件中的R代码。csv文件包含一个名为" link“的列，对于每个i(Row)，有一个链接，代码需要从这个链接下载链接的内容，并将其放在一个单独的csv文件中。不出所料，我需要在这段代码中实现几样东西，这样它才能成为完成这一特定任务的好爬虫。
我想对每100次下载使用Sys.Sleep函数。这是我的硕士论文，这并不是真正的R编程，但我需要下载的内容，从许多网站，我已经被允许访问。接下来，我要对论文的内容进行分析，这也是我论文的重点所在
浏览 0修改于2012-09-09得票数 0
回答已采纳
我正在尝试用python2.7中的漂亮汤构建一个基本的web爬虫。这是我的代码：import httplibfrom urlparse import urlparse r'\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})' # ...or ip
r
浏览 3修改于2017-05-23得票数 1
回答已采纳
然后，我想使用该JSON中包含的信息来填充我的爬虫中的其他字段。下面是到目前为止的爬虫，它爬行最近的100个工作列表：from ..items import EthjobsScrapyItem, EthJobsLoaderview=list"]
for listing_url in response.xpath('/html/body/div[4]/sectio
浏览 2修改于2019-12-11得票数 0
1回答
我已经建立了一个爬虫在一个固定的领域内的螃蟹和提取url匹配的修复正则表达式。如果看到某个特定的url，则爬虫将跟踪该链接。爬虫可以很好地提取url，但是每次我运行爬虫时，它都会返回不同数量的链接，也就是说，每次运行它时，链接的数量都会不同。我在用Scrapy爬行。这是刮痕的问题吗？xyz.nl"] rules = (Rule(SgmlLinkExtractor
浏览 3修改于2014-04-07得票数 2
回答已采纳
我目前正在写一个爬虫脚本与python.I。我知道美丽的汤包，并已做了一些简单的crawlers.currently写一个网站的爬虫有四个下拉菜单，选择后，如果我按下下载按钮，一个pdf将被下载。'select name 1' : 'value 1','select name 3' : 'value 3',
'select name 4': &
浏览 16提问于2016-09-25得票数 0
我正在开发我的第一个网络爬虫，但我不知道如何让它打印结果。没有错误，但没有显示任何内容。从bs4导入BeautifulSoup导入urllib3http = urllib3.PoolManager()soup = BeautifulSoup(r, '
浏览 10提问于2017-07-26得票数 0
1回答
我想建立一个网络爬虫使用R程序为网站""，它可以访问与地址参数的网站，然后从网站获取生成的经度和纬度。这将对我拥有的数据集的长度重复。提前谢谢。
浏览 28修改于2018-06-08得票数 -2
我正在为我的A-Level Computer Science课程编写这个程序，我正在尝试让一个爬虫从一个给定的用户关注/关注列表中抓取所有找到的用户。脚本的开头如下所示： import requestsfrom bs4 import BeautifulSoup
startNodeFollowing = (startNodeLink + "/fol
浏览 107提问于2020-09-24得票数 0
我正在使用bs4构建一个python3网络爬虫/爬行器。每当遇到像中文符号这样的UNICODE代码字符时，程序就会崩溃。如何修改我的刮刀，使其支持UNICODE？代码如下：from bs4 import BeautifulSoup
r = urllib.request.urlopen(url)
soup = BeautifulSoup(r.read(),'htm
浏览 0修改于2016-01-05得票数 1
我在Haskell用手术刀写一个网络爬虫。request <- parseRequest weblink r<- return $ scrapeStringLike (L8.unpack p) torrentS mapM_ putStrLn我认为它检查用户代理字符串，并对真正的浏览器
浏览 2提问于2017-05-08得票数 0
回答已采纳
我对Python还比较陌生，但是我以前在R中使用过MaxDepth，而且爬虫提供了“”，所以爬虫将在一定数量的链接范围内从该领域的主页。Rcrawler(Website = "https://stackoverflow.com/", no_cores = 4, no_conn = 4, ExtractCSSPat = c("div"),from bs4 import BeautifulSoup
import bs<em
浏览 7修改于2017-12-20得票数 2
回答已采纳
我在做一个爬虫程序。我已经做了爬虫，从网页上塞新闻，它可以上传到我的本地计算机，但我想直接上传到FTP服务器。for i in range(0,len(a),2): rurl, allow_redirects=True)
fileName = datetime.now().strftime(
浏览 4修改于2020-06-09得票数 0
回答已采纳
需要知道是否有一个爬虫/下载器，可以抓取和下载和整个网站的链接深度至少为4页。我正在尝试下载的站点有java script超链接，这些超链接只能由浏览器呈现，因此爬虫程序无法抓取这些超链接，除非爬虫程序自己呈现它们！
浏览 4提问于2010-09-30得票数 0
回答已采纳
我的目标是创建一个小的网络爬虫。该过程应该继续，直到找不到新的URL。我的当前绘图如下:爬虫提取urls并将其放入池中。因此，每个Worker都有一个对池的引用，因此爬虫可以通过worker访问池对象。{
public functi
浏览 1提问于2017-02-04得票数 1
我正处于这样的阶段，我想为了教育目的而创建简单的网络爬虫，只是为了学习不同的技术，并且只是习惯了一些编码。import requestsurl = 'http://www.aflcio.org/Legislation-and-Politics/Legislative-Alerts'
浏览 0提问于2016-10-31得票数 0
回答已采纳
我想通过使用wget工具来学习更多关于爬虫的知识。我有兴趣爬行我的部门的网站，并找到该网站上的前100个链接。到目前为止，下面的命令就是我所拥有的。如何限制爬虫在100个链接后停止？wget -r -o output.txt -l 0 -t 1 --spider -w 5 -A html -e robots=on "http://www.example.com"
浏览 0修改于2011-02-12得票数 3
回答已采纳
我有一个网络爬虫，抓取新闻故事在网页上。但是，我似乎不知道如何存储刚刚爬行的页面的URL。nytimes.com'] # urls from which the spider will start crawling # r'page/\d+'
浏览 2提问于2013-02-27得票数 4
回答已采纳
我创建了一个新的爬虫并手动运行它。爬虫作业运行时没有出错，但是当我检查日志时，我会收到下面的EOF异常通知。Error java.io.EOFException retrieving file at s3://insurance-transparency-data/2022-09-05_796b7d27-c275-4e37-b4c8-be2e4c0c6eda_Aetna-Life-Insurance-Company.json.gz.我尝试将一个简单的测试json文件上传到同一
浏览 9提问于2022-09-16得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号