Scrapy如何写入自定义FEED_URI

文章/答案/技术大牛

发布

1回答

将剪贴画导出为csv

python、scrapy

我想通过以下方式使用scrapy from scrapy.crawler import CrawlerProcess 'USER_AGENT7.0; Windows NT 5.1)' }) process.start() 它适用于my_super_scraper，但我想不出如何导出到

浏览 12提问于2019-04-29得票数 0

回答已采纳

2回答

Scrapy :存储数据

python、scrapy

我正在尝试遵循Scrapy教程，但我不理解的逻辑。scrapy crawl spidername -o items.json -t json scrapy crawl spidername --set FEED_URI=output.csv --set

浏览 4提问于2012-12-28得票数 14

回答已采纳

4回答

从json中的脚本输出中刮取

python、json、web-scraping、scrapy、scrapy-spider

我在python脚本中运行scrapy dispatcher.connect(stop_reactor, signal=signals.spider_closedresult = responseInJSONscrapy crawl argos -o result.json -t json

浏览 0提问于2014-05-09得票数 26

回答已采纳

1回答

python、scrapy

我是Scrapy的新手，我想写s3的HTML的备份。我发现通过使用下面的代码，我可以编写一个特定的抓取的html： settings.py ITEM_PIPELINE = {AWS_SECRET_ACCESS_KEY= os.environ['S3_MAIN_SECRET'] FEED_URIs.

浏览 38提问于2019-10-04得票数 0

1回答

如何使用Scrapy在2台服务器中正确地存储刮取的数据？

python、ftp、scrapy

我使用Scrapy，我想在两个服务器中导出项目。我使用它适用于一个FEED_URI，但我需要将结果存储在两个不同的服务器中，我尝试了： scrapy crawl spiderName -s FEED_URI=ftp://us

浏览 1提问于2018-05-03得票数 0

回答已采纳

2回答

当写入本地文件系统时，Scrapy的提要导出是如何工作的？

python、scrapy

目前，我在AWS EC2实例上的屏幕会话中有一个长时间运行的Python脚本，该脚本执行以下命令--set FEED_URI=/home/ubuntu/my_spider/data/2005_may.json --set FEED_FORMAT

浏览 2提问于2017-01-28得票数 0

回答已采纳

1回答

无法读取文件，然后使用scrapy (python)将结果写入文件

python、csv、web-scraping、scrapy

我正在用scrapy做一些网络抓取，我遇到了一个问题。我已经知道可以使用以下命令行将我的粗糙结果保存到csv文件中： scrapy crawl dmoz -a filename=text.txtclass DmozSpider我希望爬行器抓取文本文件中指定的url，然后将输出<

浏览 5提问于2015-04-30得票数 1

1回答

如何在父类中重写基于cli kwargs的FEED_URI？

python、web-scraping、scrapy

scrapy crawl spiderX -a full >> FEED_URI = /xx/spiderX_fulldef update_settings(cls, settings): feed_uri= path.join(settings.get

浏览 0提问于2015-10-03得票数 1

1回答

在scrapy中的custom_settings中传递爬行器参数

python-3.x、scrapy

class MySpider(scrapy.Spider): start_urls = ["http://someRandomsite.aspx"]custom_settings = { 'FEED_TEMPDIR':__init__(

浏览 29提问于2019-02-15得票数 0

1回答

将项目写入同一文件的多个蜘蛛

scrapy、scrapy-spider、scrapyd、scrapy-pipeline

所有蜘蛛都使用管道在公共文件上写入内容。line = json.dumps(dict(item)) + "\n" return item 在蜘蛛运行之后，我可以看到它们是如何正确地收集数据的

浏览 10提问于2016-03-23得票数 1

回答已采纳

1回答

如何将刮擦版2.X中的‘FEED’替换为'FEED_URI & 'FEED_FORMAT'？使用的GUI应用程序

python、tkinter、scrapy

因此，我试图使用Python运行这个预构建Scrapy桌面应用程序。在保存输出时，"FEEDS“有一个问题。下面提到的函数通过选择特定的扩展名并将其保存到特定的位置来保存输出文件。此脚本是基于Scrapy版本开发的，最高可达1.8版本。因此，在ScrapyVersion2.x中，'FEED_URI & 'FEED_FORMAT'无法工作，因为它们已经被“提要”所取代。 sett

浏览 5提问于2022-11-02得票数 0

回答已采纳

1回答

禁用存储在.jl提要中的Scrapyd项

scrapy、scrapyd

问题我试过什么但是，Scrapyd记录每个刮过的Scrapy项目。

浏览 4提问于2016-04-24得票数 1

回答已采纳

1回答

用刮除器收集和存储数据

python、xpath、scrapy

下面是代码：from scrapy.contrib.spiders import CrawlSpider, Rulefrom scrapy.selector import HtmlXPathSelector from scrapy.item import Item我没有从那里跟踪链接，但是如何将它们作为目标来解析而没有链接呢？)2)如何

浏览 4提问于2012-09-18得票数 2

2回答

有没有一种不使用-o -t参数打印json文件的方法？

python、json、python-2.7、scrapy

我通常这样称呼我的蜘蛛：我在fileName文件中打印了正确的数据，作为json格式。现在我想这样称呼我的蜘蛛：我的问题有没有一种不使用-o -t参数将输出打印到文件的方法？

浏览 3提问于2014-02-21得票数 1

回答已采纳

2回答

如何在Scrpay Spider中动态创建JOBDIR设置？

web-scraping、scrapy、scrapy-settings

我想为不同的爬行器创建不同的JOBDIR，就像下面示例中的FEED_URI name = 'qts' 'FEED_URI': 'data_files/' + '%(site_name)s.csv',

浏览 27提问于2018-09-07得票数 0

4回答

使用custom_settings ()将custom_settings从脚本中传递给蜘蛛

python-3.x、web-scraping、scrapy、scrapy-spider、scrapinghub

'tags': quote.css('div.tags a.tag::text').extract(),下面是我尝试运行引号蜘蛛的脚本from scrapy.utils.project import get_project_settings proc = CrawlerProcess(get_project_setting

浏览 11提问于2017-02-28得票数 8

回答已采纳

1回答

Scrapy 1.0 -从python脚本运行后获取返回值

python、scrapy、scrapy-spider

我使用以下代码从python脚本运行我的爬虫程序：from scrapy.crawler import CrawlerProcess 上面的代码来自：

浏览 0提问于2015-07-12得票数 2

2回答

如何将命令行关键字参数传递给scrapyd中的类变量？

python、scrapy、scrapyd

我想知道如何将scrapyd api调用中的参数传递给爬行器类。我尝试了以下两种方法，但都不起作用。方法1： name = 'MySpider' 方法二： class MySpider(scrapy.Spid

浏览 8提问于2020-05-05得票数 0

1回答

Scrapy --从脚本调用scrapy时，如何立即将字典返回给进程，而不是导出到json文件

python、json、scrapy

指定了如何在python脚本中调用scrapy的方法settings.overrides['FEED_URI'] = output_path settings.overrides我想一定有一些设置可以让我使用FEED_URI，但我不确定。任何建议都将深表感谢！

浏览 0提问于2015-04-02得票数 9

2回答

从Python脚本中运行scrapy* - CSV导出程序不起作用*

python、python-2.7、export、twisted、scrapy

are normally created in this folder scrapy.cfg下面是运行刮板(runspider.py)的脚本的代码：fromscrapy.crawler import Crawler from scrapy.settings

浏览 3提问于2013-07-20得票数 6

回答已采纳

点击加载更多

将剪贴画导出为csv

Scrapy :存储数据

从json中的脚本输出中刮取