抓取管道不向MySQL插入数据

文章/答案/技术大牛

发布

1回答

python、mysql、scrapy

我正在用scrapy制作一条管道，将抓取的数据存储在mysql数据库中。当蜘蛛在终端中运行时，它工作得很好。甚至连管道都被打通了。但是，数据不会被发送到数据库。感谢您的帮助！:)import scrapy from scrapy.exceptions

浏览 1提问于2016-08-08得票数 0

3回答

Python web crawler与MySQL数据库

python、mysql、sql、web-crawler、web-scraping

它必须找到并跟踪链接，收集元标签和元描述，网页的标题和网页的网址，并将所有的数据放入一个MySQL数据库。有谁知道可以帮助我的开源脚本吗？

浏览 4提问于2011-08-11得票数 6

回答已采纳

1回答

Scrapy不向MySQL插入数据

python、mysql、scrapy

我尝试将Scrapy Spider的项目插入到MySQL数据库中，但当我检查数据库时，发现没有该项目。我的管道代码如下所示。from __future__ import print_functionfrom mysql.connector import errorcodeself.create_connection() def create_conne

浏览 14提问于2020-01-09得票数 0

2回答

将数据从linux中的FIFO管道连续插入到mysql表数据中

mysql、linux、bash、named-pipes、mkfifo

我想要将数据从fifo管道插入到mysql表中，现在对我来说，这是可能的，直到fifo管道进程终止，$>mkfifo /path/to/pipe$>find \ -sl > /path/to/pipe & msql db1 -e"LOAD DATA INFILE '/path/

浏览 0提问于2011-01-21得票数 3

1回答

PreparedStatement不向MySQL DB插入数据

java、mysql、prepared-statement

我有以下数据库： name VARCHAR(255) NOT NULL, PRIMARY KEYpreparedStatement.executeBatch(); }但它不会向数据库中写入任何内容唯一的区别是我所做的插入数量(在工作情况下:超过100万，在非工作情况下:大约70) 我找不到解决方案，我也没办法了。

浏览 0提问于2018-11-22得票数 0

1回答

php不向mysql插入json数据

php、android、mysql、sqlite

create response JSON$b=array();{ //Store User into MySQL我可以在日志中看到php页面正在访问我的数据库并试图插入数据；但服务器日志是这样写的: 70.193.209.170 -- 14/May/2015:06:37:45 -0500 "POST /webservice2

浏览 1提问于2015-05-15得票数 0

3回答

如何从文件插入而不复制

mysql

我在一个csv文件中有一些数据，我想把它插入到Mysql表中。我的问题是如何在不向表中插入重复值的情况下做到这一点。我已经查看了下面的引用，其中有一个关键字IGNORE，但不知道如何使用它来只插入唯一值。

浏览 1提问于2012-10-06得票数 0

回答已采纳

1回答

Scrapy/Python/MySQL:在单独的表中保存附加项目信息的最佳方法是什么？

python、mysql、scrapy

我正在抓取一个包含某种listings的Scrapy网站，并将新的列表存储在MySQL表中。对于每个listing，我希望将price添加到单独的表中(当它发生变化时)。，然后使用AddPricesToDatabase()管道将新的/更新的价格保存到数据库。到目前为止，这只适用于在当前抓取之前已经在数据库中的列表。当我想要向数据库添加新价格时，我需要数据库中的listing.id (auto_increment)。当我在AddPr

浏览 1提问于2018-11-20得票数 1

1回答

基于数据融合的带参数增量管道

google-cloud-platform、google-bigquery、google-cloud-data-fusion

是否可以从Big Query中的表中创建参数，在本例中是最大ID (最后插入的行)，以便使用数据融合作为增量管道的起始点？我对管道使用数据融合，它从MySQL数据库中提取数据并插入大查询表中，但我想从MySQL中提取增量数据，使用当前来自大查询表的最大ID作为起点，这意味着只从MySQL中从ID大于大查询中的最大ID的行中提取数据

浏览 5提问于2022-05-09得票数 0

1回答

如何在使用Scrapy时向数据库中插入多个项目？

python、scrapy、sql-insert、bulkinsert

现在大多数数据库都支持一次向数据库中插入多条记录。这比逐个插入记录要快得多，因为只需要一个事务。我使用它的项目管道将抓取的数据存储到数据库中。然而，项目管道背后的逻辑是，将在每个项目上调用相关的方法。所以它总是一次只插入一个项目。我如何收集大约100个项目并在一次运行中插入它们？

浏览 27提问于2020-10-10得票数 1

回答已采纳

1回答

将Ruby on Rails博客移植到Wordpress

ruby-on-rails、wordpress、post、import

我有一个其他人写的Ruby on rails博客，现在已经不再参与了。我想把它移植到一个新的Wordpress博客上。Textface.com是RoR博客。在我改变域名之前，我需要把所有的帖子从RoR博客移植到Wordpress。我对RoR不是很了解，所以我不知道该怎么做。我想包括帖子标题，日期张贴，和图像。

浏览 0提问于2012-07-25得票数 0

1回答

mysqldump是否会选择或只读取基于

backup、mysql-replication、mysql、database-backup

我有一个大型数据库每晚备份，目前我们在主服务器上执行mysqldump，在转储时锁定所有插入。我们使用一个主从mysql安装程序，并配置了magento，将所有的写操作发送到主服务器，并将所有的读操作发送给从服务器。如果我们将备份移至从服务器，mysqldump进程是否会锁定select查询或其他仅读取数据而不向DB插入数据的查询？

浏览 0提问于2011-08-02得票数 1

回答已采纳

1回答

如何在每次抓取后捕获"finish_reason“

python、scrapy

我试图在每次抓取后抓取"finish_reason“，并将这些信息插入到数据库中。爬网实例是在收集第一个项目之前在管道中创建的。

浏览 0提问于2019-05-01得票数 0

1回答

JDBC不向mysql表中插入数据

java、mysql、jdbc

我在将数据插入mysql表时遇到了问题。JDBC不会向mysql表中插入数据。JDBC应该从输入"liczbaUzytkownikow“获取值，”从包含"termin“信息的表格形式获取数据(确切地说: termin.nazwaObiektu、termin.adresObiektu

浏览 1提问于2015-06-11得票数 0

1回答

如何从抓取的数据中可视化数据

python、mysql、scrapy

我用Scrapy做了一个网络搜索器，它从收集汇率数据，并通过我的SQL在表中显示数据(货币缩写名称、货币全名和汇率)。currency = scrapy.Field() rate = scrapy.Field()import mysql.connectorself.create_connection()

浏览 1提问于2020-05-03得票数 0

3回答

如何捕获发往MySQL的网络数据包

mysql、networking、tcpdump、sniffer、tshark

我将为WiFi (802.11)设计一个网络分析器，目前我使用tshark来捕获和解析WiFi帧，然后将输出通过管道传输到perl脚本，以便将解析后的信息存储到Mysql数据库中。我检查了一下，帧似乎在管道过程中丢失了(当输出被传送到perl以便在Mysql中被清除时)，下面是它是如何进行的 ( tshark ) -帧丢失-> (Perl) -> (MySQL)这是我如何通过管道将radiotap.length | perl tshark-sql-captu

浏览 0提问于2011-09-14得票数 2

回答已采纳

2回答

如何使用java代码向MySQL数据库添加信息

java、mysql

下面的代码应该将信息插入到MySQL数据库中。它毫无例外地工作，但不向数据库插入信息。try { Connection connection= DriverManager.getConnection("jdbc:mysql:///mymail","root&quo

浏览 3提问于2014-07-12得票数 0

回答已采纳

1回答

(Apache ) JdbcIO批量插入mysql数据库

mysql、google-cloud-dataflow、apache-beam、apache-beam-io

我使用DataflowSDK2.xJavaAPI( Apache )将数据写入mysql。我创建了基于的管道，使用数据流将数据写入mysql。当我需要实现批量插入时，它会插入单个行。想知道是否可以在数据流管道中设置大容量插入模式？如果是，请让我知道我需要修改以下代码。 .withDataSourceConfiguration(Jdbc

浏览 3提问于2017-12-08得票数 5

1回答