使用云数据流的Web爬虫

Question

我想在一天内浏览300万个网页。由于web特性的多样性- HTML、pdf等，我需要使用Selenium、剧作家等。我注意到使用Selenium必须使用Google DataFlow构建一个自定义容器。

1. 在ParDo Fns中使用Selenium是一个不错的选择吗？我们可以跨多个实例使用Selenium的单个实例吗？
2. 同样适用的剧作家，我应该建立一个自定义的形象吗？

Answer 1

您可以在Python中执行您可以从DoFn中做的任何事情。是的，我肯定会使用自定义容器来处理这种复杂的依赖关系。

通过在DoFn方法中对Selenium (或任何其他对象)进行初始化，您可以共享它的实例。您可以通过使用模块级别的全局或类似于共享的东西来共享整个进程(请注意，它可能由多个线程同时访问)。