scrapy编辑mysql数据库 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

scrapy cralwer无法解析mysql数据库中的数据

python-3.x、flask、scrapy、web-crawler、mysql-python

我用scrapy构建了一个web cralwer，并将数据存储到mysql数据库(我从一个url抓取源代码)，现在我想做离线编辑。因此，我创建了sql查询来使用python导出数据，并尝试从中爬行。事实上，我不能用scrapy来做这件事。我没能用scrapy做到这一点，如果有人有任何建议或类似的项目，可以帮助我。我尝试过使用scrapy查询数据库并将数据存储到 from scrapy.http import HtmlResponse

浏览 1提问于2019-08-14得票数 0

1回答

ScrapingHub与远程数据库

mysql、scrapy、scrapinghub

我正在用start_urls创建一个蜘蛛，并且我想使用MySQL数据库在我的蜘蛛中获取scrapy。现在我想知道是否有可能将scrapy-cloud连接到远程数据库？

浏览 2提问于2015-07-20得票数 2

1回答

在MYSQL中添加Scrapy for Python项目时的汉字编码问题

python、mysql、scrapy

我正在尝试将从python scrapy抓取的中文文本导入到MYSQL数据库中，但似乎scrapy或MYSQL都不能使用我目前的方法处理中文字符。cursor.execute(sql): else:在添加到MYSQL数据库时，我一直收到以下错误： exceptions.UnicodeEncod

浏览 2提问于2013-12-07得票数 0

1回答

抓取数据并提取到mysql中

python、mysql、scrapy、web-crawler、extract

我试图获取价格并将其保存到数据库中，但我找不出代码发生了什么变化，我可以提取数据，也可以在推荐中使用-o save.xml保存数据，但是当我试图集成settings.py将数据保存到MySql数据库时，我确实注意到我的数据库ID自动增量确实改变了，但是没有插入任何数据。------------------------from scrapy.contrib.linkextractors.sgml import Sg

浏览 4提问于2015-03-30得票数 1

回答已采纳

1回答

将图像路径名保存在数据库中

python、scrapy

我已经用Scrapy成功地抓取了一个网站上的图像数据，并将图像保存在一个文件夹中。但我想将图像的路径名保存在mysql数据库中。masa-kampanye-jadwal-pemilu-hingga-e-voting-jadi-isu-revisi-uu-pemilu-qoQ.jpg'}],import mysql.connectorsignals.close_spider) def create_connect

浏览 11提问于2019-08-05得票数 1

回答已采纳

2回答

如果在python中扩展一个类，如何导入另一个类并使用它？

python、mysql、class、scrapy

所以我在玩Scrapy，它是一组类，允许你进行web抓取，我想把一些数据放到数据库中，但我让truble在扩展scrapy库的同时导入MySQL方法。下面是我的代码：from scrapy.selector import HtmlXPathSelectorimport MySQLdb class test(BaseSpider):

浏览 2提问于2011-12-10得票数 0

回答已采纳

2回答

刮擦地传递参数和写入MySQL

python、mysql、scrapy

我的MySQL数据库包括两个表："thelist“和"data”。，scrapy应该将检索到的电子邮件写回数据库和数据表，并且它需要命令行参数中的thelist_id值才能写入该列的信息，因此它将返回到该列表(实体的主列表)。以下是各种脚本：import scrapy emails = scrapy.Field() thelist_iddef p

浏览 5提问于2015-10-19得票数 1

回答已采纳

1回答

错误2002 (HY000)：无法通过Lubuntu20.04LTS上的socket '/var/run/mysqld/mysqld.sock‘(2)连接到本地MySQL服务器

mysql、sockets、mysql-python

(scrapy_course) andylu@andylu-Lubuntu-PC:~/Desktop/Misc_python_scripts/Scrapy_Webscraping_Course/books_crawler下一首,我尝试连接到mysql：( andylu@andylu-Lubuntu-PC:~/Desktop/Misc_python_scripts/Scrapy_Webscraping_Course/books_crawler$

浏览 0提问于2020-12-06得票数 0

1回答

在scrapy管道中使用Django的app模型使“应用程序尚未加载”异常

django、django-models、web-scraping、scrapy、scrapy-pipeline

我想在scrapy的pipeline.py中使用Django(Version2.2)模型。package, level) File "c:\program files (x86)\lib\site-packages\django-2.2-py3.6.egg\django\db\backends\mysql

浏览 2提问于2018-08-02得票数 0

回答已采纳

1回答

Scrapy不会连接到MSSQL数据库

python、sql-server、scrapy、pymssql

为了找到解决方案，我已经浏览过google和堆栈溢出，但是尽管多次尝试，scrapy还是不会连接到数据库。我的哥哥是一个SQL开发人员，他帮助我建立了一个本地数据库，我可以用它来存储我的数据。所以我很确定数据库(这是非常基本的)的设置是正确的。SQL Server Native Client RDA 11.0O

浏览 1提问于2019-08-23得票数 0

回答已采纳

1回答

无法让MySQL.connector在Python中使用Scrapy

python、mysql、scrapy

我在使用Scrapy导出刮擦数据到本地MySQL数据库时遇到了问题。无论如何，我试图使用Scrapy制作一个web爬虫，到目前为止，它确实从所需的网站中抓取所需的数据，尽管我无法让它将数据导出到本地MySQL数据库。我一直在阅读Mysql连接器的文档，但是它们的例子让我有点困惑()。我也在谷歌上搜索，希望我能找到一个解决方案，但是我找到的所有结果都使用MySQLdb，我想使用MySQL连接器。这里是我在pipelines.py中的代码 from <em

浏览 3提问于2014-06-24得票数 0

回答已采纳

1回答

刮除回调问题:要在数据库中刮取项目的后续页面，我需要该项目的(auto_increment) ID

python、web-scraping、scrapy

将每个项目保存到mysql数据库中，获取先前添加的记录的(auto_increment) ID，该页面是上面的URL(#1)使用引用(外键)来保存该页面中定义的ID的<<代码>H 210</代码><code我在Python3.8上使用了Scrapy 2.6.2。下面我的简化代码，没有错误处理等。蜘蛛from scrapy import signals class MySpider(scrapy

浏览 3提问于2022-09-13得票数 0

1回答

Scrapy ProgrammingError:不是所有参数都在SQL语句中使用

python、mysql、web-scraping、scrapy、pipeline

我面临的问题是，Scrapy代码，特别是管道，给我提供了一个编程错误mysql.connector.errors.ProgrammingError: Not all parameters were used这是我的管道代码：from scrapy.exceptions import DropItemimport sys

浏览 3提问于2015-01-21得票数 0

回答已采纳

1回答

如何安排蜘蛛每5分钟跑一次？

python、scrapy、scheduled-tasks、scrapy-pipeline

(我尝试了所有东西，从Windows到scrapy lib，但是在我的MAIN.PY上什么都没成功)from scrapy import cmdlineNEWS_SPIDER.PY title = scrapy.Field()

浏览 3提问于2020-04-06得票数 1

1回答

将html源代码保存到

python、mysql

我正在尝试将网站源代码保存到我的MySQL数据库中。使用urllib成功检索到源文件。下一步，保存数据。与数据库的连接没有问题，问题出在源代码的保存上，因为当我从insert语句中删除源代码时，一切都很正常。,url,created,source) VALUES('%s', '%s', '%s', '%s');""" %(scrapy_url_id, url, created, source))) Filedist

浏览 1提问于2012-10-29得票数 0

回答已采纳

1回答

刮取Start_Urls

python、mysql、scrapy、web-crawler、pipeline

import scrapyfrom scrapy.contrib.spiders importimport Selectorfrom scrapy.http import Request import csv from scrapy.exceptions i

浏览 2提问于2015-01-24得票数 1

回答已采纳

1回答

如何将数据从scrapy插入到mysql

python、mysql、python-2.7、web-scraping、scrapy

我正在尝试使用scrapy从amazon获取数据，我可以在CSV中获得数据，但是我无法在mysql数据库中插入数据，请找到我的代码，我的蜘蛛是。import scrapyfrom scrapy.contrib.spiders import(scrapy.Spider): allowed_domains =

浏览 6提问于2014-12-05得票数 1

回答已采纳

1回答

如何将Python Scrapy扩展的数据插入到MySql数据库表中？

python、mysql、database、scrapy

我正在为Python Scrapy构建一个扩展，以获取爬虫相关的详细信息，如开始时间、结束时间、爬虫状态(打开、关闭或活动)。现在我需要在我的MySql数据库表中存储当前的时间戳。有人能帮我吗？我需要一个代码来连接MySql数据库从剪贴画代码，并做数据库相关的查询，如插入，选择等。谢谢..

浏览 3提问于2013-10-14得票数 0

1回答

警告"_mysql已被导入“并带有刮伤

python、mysql、warnings、scrapy

在生产中)，我在爬行器的每个调用中都会得到这个错误： /usr/lib/python2.6/dist-packages/zope/__init__.py:3: UserWarning: Module _mysqlwas already imported from /usr/lib/pymodules/python2.6/_mysql.so, but /usr/lib/pymodules/python2.6 is

浏览 2提问于2012-06-07得票数 1

回答已采纳

1回答