使用scrapy删除空数据

文章/答案/技术大牛

发布

1回答

python、web-scraping、scrapy、css-selectors、data-processing

我使用scrapy从某个网站上抓取数据，但抓取的数据中充满了我不想要的空值，因此为了清理我提取的数据，我更改了pipeline.py脚本。当我提取一个或两个值时，它就起作用了，它就像一个咒语。但是，当我提取多个值时，由于每个提取行上至少有一个空值，因此算法最终删除了几乎所有的数据。有没有办法阻止这种情况的发生？下面是我用来删除空数据的代码 class ConfigSpiderPip

浏览 44提问于2020-04-27得票数 0

1回答

使用Xpath / Scrapy提取时删除空字段

python、html、xpath、scrapy

我使用Scrapy/Xpath提取数据并生成字段(typeFacture)我希望提取该文本并删除空字段('')，以便将其插入数据库。

浏览 0提问于2018-06-26得票数 0

回答已采纳

1回答

为什么HttpCacheMiddleware在剪贴中是禁用的？

python、scrapy、scrapyd

为什么HttpCachedMiddleware需要scrapy.cfg，我是如何解决这个问题的？我检查了egg文件，scrapy.cfgp

浏览 2提问于2014-06-09得票数 3

回答已采纳

2回答

Webscraping:没有任何数据显示在刮除

python、web-scraping、beautifulsoup、scrapy

我正在尝试爬行这个，但是我得到了空响应，我使用了scrapy，我尝试了打印xpath，但是我得到了空数组，虽然这是一个直接的任务，但是现在我无法从表中获取数据。这是我的密码。import scrapy name = 'share'

浏览 16提问于2022-11-14得票数 1

回答已采纳

1回答

使用空字符串初始化类(scrapy Item)

python、scrapy

我正在将一个我在items.py中定义的项目类插入到mongodb中，但我需要它来插入类的所有字段，这样它就会将这些字段作为空添加到数据库中。listing类下的Name和Price将始终作为空插入，但我希望保持pipelines.py干净，这样我就可以轻松地切换到另一项。目前，如果我不将类的每个部分设置为空字符串，则在插入到数据库中时不会添加该字符串。items.py class Li

浏览 1提问于2017-08-08得票数 1

1回答

基于HTML文本中的标签对文本进行分组

html、python-3.x、parsing、scrapy

我有一个文本，其格式为(保留标签并删除文本以便于理解) <h2>...</h2> . . <p>...</p> <h2>...</li> 我正在尝试使用scrapy根据标题对文本进行分隔/分组。因此，作为第一步，我需要从上面获得3组数据。from scrapy import Selector

浏览 24提问于2019-07-03得票数 0

1回答

在Scrapy中，我如何从列表中删除空值，并将列表组合成一个字符串，比如段落？

python、list、web-scraping、scrapy、web-crawler

我刚开始刮擦，找不到合适的解决方案，就像我试图得到一个完美的段落，但无法做到这一点，我得到了一个包含一些空值的列表，比如'‘如何使用项目加载器删除它们？我已经尽力了import scrapyfrom ..items import RcgroupsItem name = 'rcgroup'

浏览 3提问于2022-10-02得票数 -1

1回答

scrapy下载html页面，但可以使用xpath或css获取数据。

scrapy、scrapy-shell

我正在尝试刮这个，当我执行scrapy shell "https://redsea.com/en/apple-iphone-x-64gb-silver.html"时，它下载html页面，我可以在浏览器中使用view(response)查看下载的html：但是，当我试图获取任何数据-product名称时，例如，通过response.css('.page-title')，它会给出空的响应：抓取一个使用rest获取

浏览 0提问于2017-11-07得票数 3

回答已采纳

2回答

刮伤xpath不起作用(可能是parbase的东西？)

python、xpath、scrapy

这就是我试过的。我试图弄到这篇文章的正文内容：“电视上的共同观看.”。我试过以下表达式：[Out 1]:[] [Out 2]: [u'\n', u'\n\n'

浏览 3提问于2017-09-20得票数 1

回答已采纳

2回答

刮刮MongoDB与弹性搜索同步

mongodb、elasticsearch、scrapy

我使用Scrapy从网站和mongodb获取数据以实现持久性，并使用elasticsearch进行搜索。我的问题是，当Scrapy将数据插入到Mongodb时，即使将侦听器设置为插入、更新和删除，Elasticsearch也不知道。我应该为Scrapy添加一个新插件，以便直接与Elasticsearch通信，如果是的话，为什么侦听器不听数据库发生了什么？谢谢!

浏览 0提问于2014-02-07得票数 1

2回答

如何在csv中删除抓取数据之间的空格？

python、csv、web-scraping、scrapy

它遍历链接并将其保存在csv文件中，但值之间有空格，即如果在第1行保存了一个值，则在第3行将第2行保存为空。我可以将其从excel中删除，但当有大量数据时，excel会挂起。它创造了我的问题，当我试图加载链接到抓取它的数据。如何以不留空格的方式保存数据？谢谢。import scrapy name = 'dummyspider' allowed_domains =

浏览 74提问于2018-08-20得票数 0

1回答

尝试在网站上抓取google地图api生成的动态数据，但正常抓取返回空白

javascript、google-maps、python-2.7、web-scraping、scrapy

我正在使用scrapy从这个中抓取作业数据。一个作业页面看起来像。静态数据可以很容易地被scrapy抓取，但是google地图apis生成的动态数据，如“距离”和“时间”，给我带来了问题。对于distance字段，我得到了"Distance Unknown“值，而对于time字段，我得到了空值。有没有一种方法可以让我使用scrapy来获得这个由谷歌地图api生成的json输出？如果不是，那么有没有办法编写scrap

浏览 1提问于2015-02-05得票数 0

2回答

用刮除管道过滤表格数据

python、scrapy

我已经从一页纸上删除了我想要的表格数据。现在，我想使用管道过滤它们(只有“版本”)：“”“ import scrapy class VsCodeSpider(scrapy.Spider):class Scr

浏览 5提问于2022-07-19得票数 -1

2回答

Python网络爬行和抓取

python、web-scraping、scrapy、web-crawler、scrapy-spider

import scrapy name = "world" 'www.world.com' for url in urls: yield

浏览 10提问于2017-06-14得票数 2

回答已采纳

2回答

可以在Scrapy中通过CSS属性定位元素吗？

python、html、css、scrapy

我想知道Scrapy是否有基于CSS中定义的颜色来抓取数据的方法。例如，使用background-color: #ff0000选择所有元素。我已经尝试过了：我期望的是一个为表数据元素设置了所有背景颜色的列表，但它返回了一个空列表。在Scrapy中通常可以通过CSS属性来定位元素吗？

浏览 2提问于2014-09-25得票数 10

1回答

Spider使用scrapy运行，但没有数据存储到csv中

scrapy

我已经写了一个代码，它通过网页中的链接来提取数据并移动到下一个页面。它是quotes.toscrape.com中每个作者的about链接。import scrapy name = 'test' allowed_domains = ['quotes.toscrape.comcrawl test -o test.csv 但我得到的结果是： 019-03-20 16:36:03 [scrapy.utils.log]

浏览 84提问于2019-03-21得票数 0

2回答

空提取结果- Scrapy

python、web-scraping、scrapy、scrape

我试图使用Scrapy抓取数据，但我的json/csv是空的。这不是我的第一个刮板，我真的不明白为什么这个不能工作。这是我的刮刀。import scrapyfrom ..items import NumItemfromscrapy.http import HtmlResponseimport pandas as pd f

浏览 9提问于2020-12-15得票数 0

1回答

解析回调没有定义--简单的Webscraper (Scrapy)仍然没有运行

python、scrapy、web-crawler

一旦我使用规则并将“callback=”解析“”更改为“callback=”“parse_item”，任何事情都不再起作用。from bs4 import BeautifulSoupfrom scrapy.spiders import CrawlSpider, Rule fro

浏览 2提问于2019-11-18得票数 2

回答已采纳

1回答

我想使用以下查询或代码获取data.json中的数据

web-scraping、scrapy

我正在使用VS code + git bash将这些数据收集到JSON中。但是我没有将任何数据放入JSON中，或者我没有从JSON中获得任何数据。JSON文件为空。import scrapy name= 'contacts' next_page_link

浏览 2提问于2019-11-18得票数 0

3回答

在使用Scrapy进行抓取之前，检查URL是否在文件中

python、scrapy、file-read

another_url_i_completed_crawling E:/another_location_I_stored_crawled_files # > scrapy crawl fbo-crawler -a filename

浏览 6提问于2019-10-11得票数 0

点击加载更多