在Ec2中调度雪花任务或python脚本以将数据加载到雪花中的最佳工具是什么？

Question

请分享您的经验wrt编排作业通过各种工具和编程接口加载数据到雪花-

1. python脚本在Ec2实例中。当前在snowflake
2. Alteryx工作流

中使用crontab.

• 任务进行调度。

是否有任何具有复杂UI的工具来创建带有依赖关系的作业工作流？工作流可以有- python脚本，后面是任务Alteryx工作流，后面是python脚本，然后是任务。

如果有任何工作失败，那么它应该向团队发送电子邮件。

• Thanks

Answer 1

我们使用了CONTROL和Apache气流来调度和编排数据加载到雪花。