实时流和回测应用程序的正确云服务是什么？

Question

我希望以非常高的频率记录时间序列数据。我想知道是否有一个优雅的无服务器解决方案，允许我存储并对实时数据做出反应。

我希望使用存储的数据创建统计模型，然后基于这些模型实时处理新数据。

AWS Kinesis streams似乎符合要求-但是，我不确定它是否仅用于实时反应，或者是否还收集历史数据，以便我可以脱机使用这些数据来构建模型。

谷歌DataFlow和出版/订阅似乎也是相关的，但不确定它是否适合上述情况。

Answer 1

如果您使用亚马逊网络服务，您可以使用Kinesis和EMR来实现您的目标。首先，您可以在完全托管的Kinesis Firehose中创建传递流，并将其路由到S3或Redshift以收集历史数据。

一旦您的数据存储在S3上，您就可以通过将S3存储桶指向一个电子病历作业来进行统计分析，以处理s3接收的新数据。有关更多信息，请阅读this文章。

在电子病历管理的hadoop框架上，如果愿意，您可以设置开源R和RStudio以进行统计分析。这是guide关于这一点的。

Answer 2

我们使用Kinesis和Flink (来自apache )实现了这一点。Flink确实是一个可伸缩的解决方案。