未创建AWS CloudWatch日志

Question

我试图使用AWS运行一个ETL作业，从Redshift到S3获取数据。

1. 当我运行一个爬虫时，它成功地连接到Redshift并获取模式信息。相关日志是在日志组aws-胶水/爬行器下创建的。
2. 当我运行ETL作业时，它应该在日志组( aws-glue/jobs/output和aws-glue/jobs/error )下创建一个日志流，但它无法创建这样的日志流，最终作业也会失败。

(对于Glue服务，我使用AWS管理的AWSGlueServiceRole策略)

由于它不生成任何日志，因此很难确定ETL作业失败的原因。如果你能帮我解决这个问题，我将不胜感激。

Answer 1

大多数情况下，这与您的AWS服务没有正确的权限有关(是的，即使只是编写日志！)。

将类似的内容添加到Glue角色中可能会有效果：

{“版本”："2012-10-17“、”语句“：[{”效果“：”允许“、”操作“：”日志:CreateLogGroup“、”日志:CreateLogStream“、”日志:PutLogEvents“、”资源“：”arn:aws:log：*“}]}

Answer 2

我将确保通过以下说明正确设置您的端点和VPC：

http://docs.aws.amazon.com/glue/latest/dg/setup-vpc-for-glue-access.html

我的入站规则设置正确，但没有设置出站规则，这就是我认为的问题所在。