如何编写用于将数据从MySQL加载到Redshift的Luigi工作流？

Question

Luigi支持我执行整个流程吗？

流程如下所示:将MySQL数据转储到S3，然后使用Copy命令将数据移动到Redshift。

我可以使用Luigi执行上面的工作流吗？

Answer 1

基本上，您可以在Luigi中使用python脚本做任何事情，因为您可以在Luigi任务的run()方法中编写python代码，这意味着实际上没有真正的限制。

有关更多信息，请参见用于任务的Luigi文档，特别是run()方法：http://luigi.readthedocs.org/en/stable/tasks.html#task-run

因此，剩下的问题是如何从python本身访问RedShift和MySQL，但这是另外一个问题，我认为谷歌搜索好的指南或教程是最好的选择。