如何使用AWS管理控制台将配置文件引用为额外文件？

Question

我正在尝试使用Glue ETL作为Python脚本的作业调度程序，该脚本还引用了JSON配置文件。

根据https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-glue-arguments.html，有一个名为--extra-files的参数，它被称为配置文件等其他文件的S3路径。当我创造我的工作时，我似乎在控制台上找不到这个。

我所做的是将我的配置文件上传到与Glue ETL的python相同的S3桶中，我在Referenced files path参数中包含了这个脚本。

在我的脚本中，我将我的配置文件称为：

with open('config.json', 'r') as config:
    config = json.load(config)

我的代码的逻辑没有任何问题，因为它在本地运行时都很好。

然而，当我尝试运行Glue ETL作业时，我似乎收到了一条说No such file or directory: 'config.json'的失败消息。

我在这里做错什么了？如何使用例与Glue ETL一起工作？

Answer 1

这些参数可以作为作业参数传递。在控制台上，在创建或编辑作业时，可以在安全配置、脚本库和作业参数(可选)小节中找到。

​

​

根据this answer，如果在Python作业中使用引用文件路径变量，则在/tmp中找到引用文件，默认情况下，Python作业没有访问权限。