从sql表到弹性索引的近实时数据摄取

Question

我们有一个ETL进程，每5分钟从不同的源系统(as400，orcale，sap等)获取一次数据到我们的sqlserver数据库，从那里我们每5分钟获取一次数据到弹性索引中，这样两者是同步的。我想把时间范围缩短到几秒而不是5分钟，我想确保它们一直同步。

我使用控制日志表来确保elastic ingestion和SSIS ETL没有同时运行，这样我们可能会不同步。这是一个非常糟糕的解决方案，无法实现近乎实时的数据捕获

我正在寻找更好的解决方案，以同步sqlserver数据库和弹性索引在近实时，而不是手动做。

注意:我目前正在使用python脚本将sql中的数据抽取到elastic index中。

Answer 1

一种方法是让event stream直接从您的数据库或甚至直接从SSIS包运行(这实际上可能更容易实现)提供给您的弹性搜索索引。ELK处理流日志文件，所以应该可以很好地处理事件流。