我想要存储输出的python pyspider脚本到csv或json

Question

下面是我写的代码：

import json
from pyspider.libs.base_handler import *

f = open("demo.txt","w")
class Handler(BaseHandler):
    crawl_config = {
    }

    @every(minutes=0,seconds = 0)
    def on_start(self):
        self.crawl('Any URL', callback=self.index_page)

    @config(priority=2)
    def detail_page(self, response):
        img = ""
        for each in response.doc("img[id='landingImage']").items():
            img = each
        f.write("\n"+response.doc('title').text() + "\t" + response.doc("span[id^='priceblock']").text())
        return {
            "url": response.url,
            "title": response.doc('title').text(),
            "img_url":img.attr['src'],
            "Price":response.doc("span[id^='priceblock']").text(),
            "Availability":response.doc("div[id='availability']").text()
        }

在上面的代码中，我有来自链接的废弃数据，但我无法获得json或csv格式的输出。

​

​

Answer 1

您可以从webui下载数据，也可以通过override on_result方法将数据追加到文件中。