在AWS Glue中,只需阅读XLSX中的数据并将其写入CSV。我有个小密码。根据Python指令,我已经压缩了所需的库,并在执行时将As包提供给Glue作业。
问题:下面的日志传达了什么?
Considering file without prefix as a python extra file s3://raw-data/sampath/scripts/s3fs/fsspec.zip
Considering file without prefix as a python extra file s3://raw-data/sampath/scripts/s3fs/jmespath.zip
Considering file without prefix as a python extra file s3://raw-data/sampath/scripts/s3fs/s3fs.zip
....请举例说明?
发布于 2019-11-06 08:01:35
在python作业中,应该在egg文件中添加外部库,而不是压缩文件。压缩文件是为火花的工作。
我还编写了小的shell脚本来部署python作业,而无需手动步骤来创建鸡蛋文件并上传到s3,并通过cloudformation进行部署。脚本都是自动完成的。您可以在https://github.com/fatangare/aws-python-shell-deploy找到代码。脚本将采用csv文件,并使用熊猫和xlswriter库将其转换为excel文件。
https://stackoverflow.com/questions/58711888
复制相似问题