如何修复AWS胶水作业中的“模块'pg8000‘没有属性'connect'”错误

Question

我正在尝试设置一个每日AWS Glue作业，将数据加载到RDS PostgreSQL DB中。但是，在将数据加载到表之前，我需要截断表，因为这些作业处理整个数据集。

为此，我实现了这里给出的解决方案：https://stackoverflow.com/a/50984173/11952393。

它使用纯Python库pg8000。我遵循了本文中的指导原则，下载tar库，解压它，添加空的__init.py__，压缩整个think，将压缩文件上传到S3，并将Python作为Python库添加到AWS Glue作业配置中。

当我运行作业时，pg8000模块似乎被正确导入。但随后我得到了以下错误：

AttributeError: module 'pg8000' has no attribute 'connect'

我肯定做错了什么.但是找不到是什么。欢迎任何有建设性的反馈！

Answer 1

添加

install_requires = ['pg8000==1.12.5']

在生成.egg文件_setup.py文件中

您应该能够访问库。

Answer 2

这就是让它为我工作的原因。

1. 在单独的位置执行pg8000包的pip安装

在/tmp目录中，pip install -t /tmp/ pg8000

• You将看到2个目录

pg8000 scramp

• 分别压缩上述两个目录

cd /tmp/ zip -r pg8000.zip pg8000/ zip -r scramp.zip location

• While /

• 在S3 Python Library Path中上传这两个zip文件创建作业或开发端点在Python Library Path字段中提及这两个zip文件

s3://<bucket>/<prefix>/pg8000.zip,s3://<bucket>/<prefix>/scramp.zip