glue爬虫ETL后的雅典娜流水线查询

Question

我有要进入S3存储桶的数据，我想每小时对其运行一次查询。数据以JSON的形式传入。我抓取它，在数据上运行作业以将其转换为ORC格式，然后再次抓取它以创建一个比原始JSON更快的表(因为它们嵌套得很深)。我正试着和雅典娜一起查询数据。我已经成功地使用Lambda和cloudwatch事件将前面的步骤链接在一起。

这里的问题是，最后一个爬虫应该创建新的表，而不仅仅是同一个表的分区，因此在运行作业列表之前不知道表名。我发现您可以监听新表的创建和爬虫程序的完成，但是爬虫程序运行结束时的日志不包含(使用Amazon's Documentation)创建的新表的名称。有没有办法动态获取这个表名并使用Lambda或Athena查询它？谢谢

Answer 1

为什么不在爬虫完成后从胶水作业中调用lambda呢？表名是您存放orc数据的S3存储桶中的文件夹。因为它是在glue作业中完成的，我相信你已经有了文件夹名称，你可以从glue作业传递给lambda。