如何在Glue作业中使用Awswrangler？

Question

出于某些原因，我想在Python3Glue作业中使用python包awswrangler。我考虑过安装awswrangler的两种主要方法

• 为胶水作业指定其他库。通过考虑.whl文件，然后通过--extra-py-files将其传递给Glue作业
• 在python脚本中安装带有subprocess 或 os.的例如，使用os的代码示例如下

import os
os.system('python -m pip install --user awswrangler==0.0.b0')

请注意，在最后一种情况下，我甚至使用了awswrangler的第一个预发布版本。完整的版本列表可以找到这里。但是，即使有了第一个预租约，我也无法在Glue脚本上使用awswrangler。有办法做到这一点吗？

Answer 1

事实证明，正式的Awswrangler 文档为您提供了一个.whl文件，该文件包含所需的包版本，可以在Glue作业的Python library path field上指定。根据文件，应采取的步骤如下：

1. 从.whl下载与要安装awswrangler的版本相关的这里文件。
2. 将.whl文件上传到s3桶中，注意分配给胶水作业的角色应该有权读取这个桶。
3. 在Python库路径字段中，指定车轮文件的位置。例如，对于当前的1.9.3版本，它是s3://your-bucket/glue_wheels/awswrangler-1.9.3-py3-none-any.whl

Answer 2

它为我在下面安装和使用awswrangler工作。在Glue作业参数中添加键/值。

键：--附加python-模块

价值: pyarrow==2，awswrangler==2.4.0

Answer 3

用这个对我有用

import os
import sys
import subprocess

subprocess.call('pip3 install awswrangler -t /tmp/ --no-cache-dir'.split(), stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL)
sys.path.insert(1, '/tmp/')