导入awswrangler时出错: AttributeError:模块“”multiprocessing“”没有属性“”connection“”

Question

我有一个使用lib awswrangler的python脚本。今天我的scrpit开始在导入库的时候给出错误，我不知道发生了什么。我在docker容器中使用image python: 3.8运行脚本

示例：

import awswrangler as wr

print(wr.__version__)

错误：

Traceback (most recent call last):
  File "src/avec/automation/TaskBaseUserPass.py", line 1, in <module>
    from awswrangler.pandas import Pandas
  File "/usr/local/lib/python3.8/site-packages/awswrangler/__init__.py", line 17, in <module>
    from awswrangler.pandas import Pandas  # noqa
  File "/usr/local/lib/python3.8/site-packages/awswrangler/pandas.py", line 45, in <module>
    class Pandas:
  File "/usr/local/lib/python3.8/site-packages/awswrangler/pandas.py", line 273, in Pandas
    def _read_csv_once_remote(send_pipe: mp.connection.Connection, session_primitives: "SessionPrimitives",
AttributeError: module 'multiprocessing' has no attribute 'connection'

Answer 1

我今天在尝试导入awswrangler时遇到了同样的问题。对我来说，降低以下依赖项对我很有帮助：

pip install fsspec==0.6.3 PyAthena==1.10.2 s3fs==0.4.0

似乎是他们中的一个或多个导致了问题。

Answer 2

我设法运行了3.6版，该库在当前python版本中的mp.connection.Connection有一个问题

Answer 3

如果您的代码使用multiprocessing.connection.Listener或multiprocessing.connection.Client，那么您应该使用：

import multiprocessing.connection

如果您只是使用

import multiprocessing

。。那么你的代码可能会得到一个ImportError，也可能没有。它依赖于其他模块。如果其他模块导入了multiprocessing.connection，那么它将正常工作。

但我猜你不想要随机行为，这就是为什么你应该导入multiprocessing.connection。