Dagster故障通知系统

Question

dagster中有没有一种方法可以在某些事件发生时接收通知？例如，有没有集成像sentry这样的工具？

Answer 1

有一个datadog integration可以让用户将事件发送到datadog。从文档中：

@solid(required_resource_keys={'datadog'})
def datadog_solid(context):
    dd = context.resources.datadog

    dd.event('Man down!', 'This server needs assistance.')
    dd.gauge('users.online', 1001, tags=["protocol:http"])
    dd.increment('page.views')
    dd.decrement('page.views')
    dd.histogram('album.photo.count', 26, tags=["gender:female"])
    dd.distribution('album.photo.count', 26, tags=["color:blue"])
    dd.set('visitors.uniques', 999, tags=["browser:ie"])
    dd.service_check('svc.check_name', dd.WARNING)
    dd.timing("query.response.time", 1234)

    # Use timed decorator
    @dd.timed('run_fn')
    def run_fn():
        pass

    run_fn()

@pipeline(mode_defs=[ModeDefinition(resource_defs={'datadog': datadog_resource})])
def dd_pipeline():
    datadog_solid()

result = execute_pipeline(
    dd_pipeline,
    {'resources': {'datadog': {'config': {'api_key': 'YOUR_KEY', 'app_key': 'YOUR_KEY'}}}},
)

为某些事件(即失败)添加一流的用户可配置钩子目前正在进行中。

Answer 2

不确定这是否只是在编写接受的答案时还不可用，但当前的Dagster版本(0.9.16)有更好的机制来解决手头的问题。

它们现在有了一个hook system，您可以在其中注释当管道成功完成或失败时触发的函数。

文档中的代码示例：

@success_hook(required_resource_keys={'slack'})
def slack_on_success(context):
    message = 'solid {} succeeded'.format(context.solid.name)
    context.resources.slack.send_message(message)

@success_hook
def do_something_on_success(context):
    do_something()