Lambda触发DLT管道

Question

我有一个源文件，作为增量文件加载到S3中。我可以在文件上附加一个lambda触发器。是否有一种基于lambda触发器触发DLT管道的方法？

Answer 1

是的，您可以使用REST启动现有的DLT管道(应该预先创建它，但如果它还不存在，也可以通过API创建它)。另一种方法是围绕DLT管道创建Databricks作业，然后使用作业REST触发该作业。