1回答
如何将Python Scrapy扩展的数据插入到MySql数据库表中？
python、mysql、database、scrapy
我正在为Python Scrapy构建一个扩展，以获取爬虫相关的详细信息，如开始时间、结束时间、爬虫状态(打开、关闭或活动)。现在我需要在我的MySql数据库表中存储当前的时间戳。有人能帮我吗？我需要一个代码来连接MySql数据库从剪贴画代码，并做数据库相关的查询，如插入，选择等。谢谢..
浏览 3提问于2013-10-14得票数 0
1回答
抓取大容量插入
mysql、scrapy
我有一个爬虫，从多个网站获取数据，并更新到mysql表的信息。我使用scrapy编写的crawler.The爬虫将插入/更新大量的列。是否可以批量插入/更新scrapy中的项目？
浏览 0提问于2015-02-07得票数 0
2回答
Scrapy Piplines处理数据
python、scrapy
我想用scrapy编写一个爬虫，在我写完爬虫文件，项目文件，管道文件等后，我想将数据保存到数据库中，但我发现项目‘’url‘的数据类型实际上是字符串类型，字符串包含列表，我无法获得里面的数据，我找不到问题所在JumiaspiderPipeline(object):
self.conn=pymysql.connect( db=settings.MYSQL_D
浏览 22提问于2018-09-05得票数 0
回答已采纳
1回答
无法让MySQL.connector在Python中使用Scrapy
python、mysql、scrapy
我在使用Scrapy导出刮擦数据到本地MySQL数据库时遇到了问题。无论如何，我试图使用Scrapy制作一个web爬虫，到目前为止，它确实从所需的网站中抓取所需的数据，尽管我无法让它将数据导出到本地MySQL数据库。我一直在阅读Mysql连接器的文档，但是它们的例子让我有点困惑()。我也在谷歌上搜索，希望我能找到一个解决方案，但是我找到的所有结果都使用MySQLdb，我想使用MySQL连接器。这里是
浏览 3提问于2014-06-24得票数 0
回答已采纳
4回答
如何停止云主机上的爬虫？
云服务器
我在云主机上运行了一个scrapy爬虫，这个爬虫可以一直运行，假如我没有停止爬虫就和主机断开了连接，是不是除了关机就没有办法停止爬虫了？
浏览 570提问于2018-01-27
9回答
BeautifulSoup和Scrapy crawler有什么区别？
python、beautifulsoup、scrapy、web-crawler
我对BeautifulSoup比较熟悉，但对Scrapy crawler不太熟悉。
浏览 323提问于2013-10-30得票数 146
回答已采纳
1回答
爬行器对象与爬行器和管道对象之间有什么关系？
python、scrapy
table_name = table[0:3] # FIRST 3 LETTERS我一直在阅读，其中包含：
但是仍然不了解from_crawler方法和爬虫对象。如何以及何时实例化爬虫？蜘蛛是爬虫的子类吗？我问过，但我不明白这些部分是如何组合在一起的。
浏览 2提问于2017-12-25得票数 2
回答已采纳
1回答
Scrapy ProgrammingError:不是所有参数都在SQL语句中使用
python、mysql、web-scraping、scrapy、pipeline
我面临的问题是，Scrapy代码，特别是管道，给我提供了一个编程错误mysql.connector.errors.ProgrammingError: Not all parameters were used这是我的管道代码：from scrapy.exceptions import DropItemimport sys
浏览 3提问于2015-01-21得票数 0
回答已采纳
1回答
如何在Scrapy中运行多个相同的爬虫？
python-3.x、scrapy
这些urls在一个域名中，我用Scrapy编写了一个爬虫程序，我需要使用相同的爬虫程序一起运行这些urls。如果我有10个urls，我想创建10个相同的进程来运行爬虫程序，以提高效率。有解决方案吗？我尝试使用CrawlerProcess来运行爬虫，但是如果urls太多，它会提醒我有太多TCP连接的错误。虽然crawler始终处于运行状态，但这种方法不利于维护。from scrapy.crawler import CrawlerProcess
from scrap
浏览 0提问于2019-01-06得票数 0
3回答
如何在出现异常时强制刮伤退出
web-scraping、scrapy
我用Scrapy写了一个爬虫。我发现当我的字符串有中文的时候，logging.error()会抛出一个异常。但爬虫一直在跑！我的问题是:在出现异常时，是否存在强制Scrapy停止的设置？
浏览 3提问于2017-06-08得票数 7
回答已采纳
3回答
在使用Scrapy进行抓取之前，检查URL是否在文件中
python、scrapy、file-read
因此，我的问题是:当我重新启动程序时，如何才能记住哪个URL是要爬行的最后一个URL，并让爬虫从文本文件中的下一个URL开始。# file containing urls to crawl is passed in from command line
# > scrapy crawl fbo-crawler -a filename
浏览 6提问于2019-10-11得票数 0
1回答
抓取增量抓取以过滤重复项目
python、scrapy、web-crawler
我想定期运行Scrapy来获取所有新内容。生成的项目存储在数据库中。当Scrapy再次爬行时，验证已经生成的项目是否没有存储为重复项的最佳方法是什么？谢谢!
浏览 3提问于2018-01-31得票数 1
1回答
如何在Glue中为雪花创建数据目录？
snowflake-cloud-data-platform、aws-glue-data-catalog、snowflake-pipe
我对雪花不熟悉。我想知道如何建立雪花数据的数据目录？
浏览 2提问于2020-09-16得票数 1
1回答
向from_crawler脚本添加scrapy.xlib.pydispatch方法
python-3.x、selenium、scrapy
不久前，我在使用windows上用python编写的scrapy蜘蛛时，有了这个功能代码，现在它出现在使用scrapy爬行器时。如果您只想连接>信号，则使用from_crawler类方法，否则在需要时直接导入py分派。我不知道该怎么做
@classmethod def from_crawler(爬虫，爬虫，*args，**kwargs)：spider =超级(MySpider，cls).from_crawler(爬虫，*args，*kwargs) crawle
浏览 4提问于2019-10-08得票数 1
1回答
ScrapingHub与远程数据库
mysql、scrapy、scrapinghub
我正在用start_urls创建一个蜘蛛，并且我想使用MySQL数据库在我的蜘蛛中获取scrapy。现在我想知道是否有可能将scrapy-cloud连接到远程数据库？
浏览 2提问于2015-07-20得票数 2
1回答
Scrapy:如何检查之前抓取的页面是否已被删除？
python、database、csv、web-scraping、scrapy
我做了一个简单的抓取我所在城市房价广告的Scrapy爬虫。这是我目前的爬虫代码。import scrapy
class ExampleSpider(scrapy
浏览 9提问于2017-02-22得票数 2
回答已采纳
1回答
在scrapy中连接爬行器
python、scrapy、scrapy-spider
我想在Scrapy中连接多个爬虫，这样一个蜘蛛的输出就可以供给另一个蜘蛛。我知道Scrapy用于连接解析函数和使用请求的Meta参数来通信项的方式。class MySpider(scrapy.Spider): def parse(self, response): yield scrapy.Request(url2, cal
浏览 5提问于2016-05-13得票数 0
2回答
如何在MySQL数据库中存储动态python字典？
python、mysql、dictionary、scrapy
我正在做一个小型项目的网页-爬虫+搜索引擎。我已经知道如何使用Scrapy框架刮取数据。现在我想做索引。为此，我发现Python字典是我最好的选择。现在的问题是，我不知道如何在MySQL数据库中存储动态dict，而且我肯定想要存储这个dict！
一些关于如何去做的命令将是非常感谢的！
浏览 1提问于2015-09-01得票数 1
1回答
Scrapy部署算法
python、mysql、cron、scrapy、scrapyd
我正在使用带有MySQL的Scrapy来显示结果。另外，我想为预定的爬行(例如每天)实现cron；所以我的理解是:我用所有必要的包(python、mysql、scrapy等)设置EC2；然后我创建我的爬虫，我测试它们；当它们工作时，我设置cron让爬行在没有我的情况下发生
浏览 11提问于2017-02-26得票数 0
回答已采纳
1回答
用于提取和解析数据并将其保存到数据库的Web爬虫
php、web-crawler
我希望将一些网站的内容复制到本地数据库中，以便进一步进行个性化搜索。我知道我必须使用爬虫，我找到了一些关于scrapy的很好的参考资料。
我的问题是，你知道有没有用PHP写的好的爬虫。
浏览 0提问于2013-04-16得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号