使用python twisted编写web爬虫

Question

我正在使用Twisted编写一个由Selenium驱动的网络爬虫。我的想法是，我为一个扭曲的客户机和一个扭曲的服务器产生扭曲的线程，后者将代理HTTP请求到服务器。看起来像这样：

    +--------+       +--------+
    |        +------>+        |
 -->| Client |       | Server |---> WWW
    |        +<------+        |
    +--------+       +--------+

不过，所有这些都在同一个进程中运行。问题是twisted是允许这种类型的应用程序，还是被认为只将Client和Server作为不同的进程运行(因为这是我在任何地方都看到的典型案例)。

Answer 1

不能在线程中使用Twisted。但是，您可以创建一个Twisted线程，它可以愉快地创建多个客户端和服务器。

你可能需要更详细地描述你的问题，才能得到更好的答案。