实时计算

Question

我有一个用python和mysql编写的算法，它接受csv文件和一些属性中的输入，然后运行20-25分钟产生输出。

我想让它实时，这样如果输入csv被上传或者属性被改变，输出就会改变，而不需要运行算法。

注意，运行算法的数据可能非常大。在制定实时计算算法方面需要帮助

我正在尝试将mysql更改为nosql，但运行它仍然需要时间，而且不是实时的。

Answer 1

您应该尝试使用其中一个流服务进行事件驱动的更新。而不是CSV，而是将数据写入流，如Kafka或Kinesis。编写在不运行完整算法的情况下读取传入的发明和更新数据的使用者。您也可以使用Apache对Kafka进行聚合。