我们可以使用FTP在apache-beam中导入数据吗？

Question

我写了一个数据流作业使用阿帕奇梁，这需要从ftplib导入FTP_TLS服务器使用FTPS导入BigQuery中的数据。但是当我尝试导入FTPS Class ftps = FTP_TLS('ftp.xxxxx.xxx')时，我得到的错误是"TypeError: can't pickle SSLContext objects“。我尝试将包放在setup.py中，以导入ftplib包，但仍然存在相同的错误。

Apache-Beam是否不支持来自FTPS服务器的数据?如果它支持，那么如何解决该错误？

Answer 1

我不确定，因为您没有提供代码片段。但我认为您应该在初始化中创建FTP_TLS对象。在init中创建的所有对象都必须是可序列化的。

您可以尝试在Process函数中创建对象。有关详细信息，请参阅：see Ankur answer on this issue

有关更多信息，请参阅文档：

https://beam.apache.org/documentation/programming-guide/#core-beam-transforms

https://beam.apache.org/documentation/programming-guide/#requirements-for-writing-user-code-for-beam-transforms