我正在使用index_parallel原生批处理方法从s3向Druid摄取数据。我已经使用druid UI中的Tasks选项卡完成了初始摄取。我想每天安排另一个任务来进行增量摄取。
我已经看了很多文档,但我没有找到任何与在druid上调度任务相关的东西。
有人能帮我吗?我们可以通过哪些方法来安排一个本地批处理摄取任务?
发布于 2020-09-24 20:16:38
通常情况下,你会使用像Airflow这样的东西来安排常规的摄取,例如,请参阅这篇很酷的博客文章:
哦,也来看看这个,确保你知道如何配置作业来添加数据:
https://druid.apache.org/docs/latest/ingestion/data-management.html#adding-new-data
https://stackoverflow.com/questions/63718308
复制相似问题