Matillion for Amazon Redshift支持作业监控

Question

我在Amazon Matillion for Redshift上工作，我们每天都有多个作业运行，由SQS消息触发。现在我正在检查是否可以为利益相关者创建一个UI仪表板，它将监控作业的实时进度，并将显示以前作业的报告，如作业名称、受影响的表、作业状态/失败原因等。Matillion是否隐含地维护此类信息？否则，我将不得不为每个作业维护此信息。

Answer 1

Matillion有一个API，您可以使用它来获取所有任务历史的详细信息。关于任务接口的信息在这里：https://redshiftsupport.matillion.com/customer/en/portal/articles/2720083-loading-task-information?b_id=8915

您可以使用它将当前正在运行的作业或已完成的作业的数据拉到组件级别，包括作业的名称、组件的名称、运行所需的时间、是否成功运行以及任何适用的错误消息。

可以使用Matillion API配置文件将此信息拉入到Redshift表中，该配置文件内置在产品和API Query组件中。然后，您可以在此表的顶部构建您的仪表板。关于更多的信息，我建议你通过他们的支持中心联系Matillion。

Answer 2

API很有帮助，但您只能将日期作为参数传递(这适用于Matillion for Snowflake，假设它与Redshift相同)。我已经请求了传递datetime的能力，这样我们就可以全天运行作业，而不会在每次API调用运行时都拉回相同的记录集。