我是一个ML程序员,我正在建立一个高频交易模型。一旦投入生产,我需要直接从市场获取数据。我使用的是influxdb数据库,即时间序列数据库(TSDB),但我不知道如何实时捕获数据。我知道有一种我们可能可以使用的设计模式,叫做Change Data Capture (CDC)。我们可以在InfluxDB-Python中使用CDC吗?使用Debezium还是单独使用InfluxDB是更好的解决方案?
发布于 2018-06-05 10:16:30
为了捕获实时数据馈送,只要数据源提供合适的数据馈送,我就会求助于websocket客户端(如https://pypi.org/project/websocket-client )和/或pusher客户端(https://pusher.com/)。如果没有,我将不得不使用他们的REST API自己构建它。
现在,在数据源和InfluxDB之间使用基于Python的CDC组件作为目标数据库也是可能的。
https://stackoverflow.com/questions/50457479
复制相似问题