如何在Singer上提供Meltano CI/CD管道的相对启动日期

Question

当我们运行Meltano构建/测试周期(例如在CI/CD管道中)时，我们希望我们的Singer管道运行如下：

1. 不要使用可能允许流完全没有意义运行的预捕获状态书签。(例如，如果没有新记录，或者没有足够的新记录来触发代表性测试。)

。

1. 不需要开发人员不断地推进硬编码的start_date。(最初对一个月数据进行的“快速”测试最终会成为一个运行时间更长的测试，涵盖多个月。)

对于任何点击名称tap-mysource，我们应该能够设置$TAP_MYSOURCE_START_DATE以提供默认的start_date配置值。为CI构建提供默认相对启动时间的好方法是什么?例如，滚动21天窗口？

我认为大多数用例可能运行在GitHub操作上，但我们也使用GitLab CI。

Answer 1

到目前为止，还没有一种表达式语言可以执行today()-n并以这种方式提供相对的开始日期。但是，您可以在执行之前用相对日期初始化环境变量，Meltano可以通过命名约定<PLUGIN_NAME>_<SETTING_NAME>将该动态输入传递给tap。

根据您的操作系统风格，这可能需要稍加调整：

对Mac：

N_DAYS=1
TAP_MYSOURCE_START_DATE=$(date -v-1d "+%Y-%m-%d")
echo "Using dynamic start date of today-$N_DAYS: $TAP_MYSOURCE_START_DATE"
meltano elt tap-mysource target-mydest

关于Ubuntu：

N_DAYS=1
TAP_MYSOURCE_START_DATE=$(date +%Y-%m-%d -d "$N_DAYS day ago")
echo "Using dynamic start date of today-$N_DAYS: $TAP_MYSOURCE_START_DATE"
meltano elt tap-mysource target-mydest

参考：

• date command on OS X doesn't have ISO 8601 -I option?
• https://stackoverflow.com/a/1706909/4298208