Databricks auto_termination设置为60分钟，而我的工作失败

Question

我在databricks中创建了一个笔记本，我想从AWS Lambda按需运行这个工作。也就是说，当一个文件到达我的S3桶时，我想为了我的ETL目的运行databricks笔记本作业。

databricks集群的autotermination_minutes参数设置为60分钟。有时我的工作不运行，因为集群在空闲60分钟时自动终止。在运行作业之前，我可以从AWS重新启动集群吗？

谢谢

Answer 1

是的，您可以使用Databricks集群API。你只需要传递集群id就行了。

这是链接https://docs.databricks.com/api/latest/clusters.html#start