亚马逊档案数据的动态分析

Question

背景

我发现可以用于流数据以及S3桶中的数据。

然而，动态文献的一些部分让我怀疑Analytics是否可以用于S3桶中的大量现有数据：

编写应用程序代码 我们建议如下：

• 在SQL语句中，出于以下原因，请不要指定超过一个小时的基于时间的窗口：

- Sometimes an application needs to be restarted, either because you updated the application or for Kinesis Data Analytics internal reasons. When it restarts, all data included in the window must be read again from the streaming data source. This takes time before Kinesis Data Analytics can emit output for that window.
- Kinesis Data Analytics must maintain everything related to the application's state, including relevant data, for the duration. This consumes significant Kinesis Data Analytics processing units.

​

问题

会对这项任务有好处吗？

Answer 1

的主要用例是流数据处理。因此，您可以将应用程序附加到流数据源。您还可以选择包含来自S3的引用数据，此时该数据的大小限制为1GB。我们将把来自S3对象的数据加载到一个SQL表中，您可以使用该表来丰富传入流。

听起来，它需要一个更通用的工具，用于从S3查询数据，而不是流数据处理解决方案。我建议您看Presto和Amazon，而不是使用。

免责声明:我为Amazon Kinesis团队工作。