在KubeSphere中部署了scrapyd，运行scrapy时，scrapy获得了exception:'twisted.internet.error.ReactorAlreadyInstalledError‘

Question

我在KubeSphere中部署了KubeSphere，在运行scrapy和selenium时得到了期望

2022-03-16T12:57:15+0000 [Launcher,1832/stderr]     return Crawler(spidercls, self.settings, init_reactor=True)
          File "/usr/local/lib/python3.9/site-packages/scrapy/crawler.py", line 82, in __init__
            default.install()
          File "/usr/local/lib/python3.9/site-packages/twisted/internet/epollreactor.py", line 256, in install
2022-03-16T12:57:15+0000 [Launcher,1832/stderr]     installReactor(p)
          File "/usr/local/lib/python3.9/site-packages/twisted/internet/main.py", line 32, in installReactor
2022-03-16T12:57:15+0000 [Launcher,1832/stderr]     raise error.ReactorAlreadyInstalledError("reactor already installed")
        twisted.internet.error.ReactorAlreadyInstalledError: reactor already installed

我没有单独安装扭曲装置。为什么它报告说它已经存在了？

Answer 1

如果没有代码和包版本，很难猜测会发生什么。如果您的程序曾经工作过，请检查您的刮伤版本。在最新的2.6版本中有一个问题。你可以把你的刮痕定在2.5.1。

如果您正在开发刮伤脚本，您可能需要在一个脚本中运行多个蜘蛛。这是很容易搞乱流水线，并得到twisted.internet.error.ReactorAlreadyInstalledError错误。你可以检查一下这。