我们有一个API,用于在特定区域(10-30K)为应用程序用户提供实时设备信息(位置和其他一些信息)。数据是实时刷新的,但我们通过get请求获取数据。我不知道频率会是多少,但他们希望支持未来的ML用例。在这里使用Kinesis有意义吗?我是亚马逊网络服务的新手,不知道我是否应该编写一个lambda函数来每分钟将其写入s3,或者是否有我应该使用的特定服务。谢谢!
发布于 2019-06-28 15:44:49
根据您所描述的要求,Kinesis Firehose是最佳解决方案。
如果在此阶段不需要进行严重的数据转换,您可以将数据从API网关直接发送到Firehose。简单的转换和映射您可以在"IntegrationRequest“阶段在API网关级执行,或者简单地”按原样“代理数据。
然后,如果需要为S3做准备,Firehose还可以使用一些Lambda来转换数据。
这种架构的美妙之处在于,您在这里只使用AWS托管服务,而不需要发明自己的数据管道。
https://stackoverflow.com/questions/56797417
复制相似问题