将数据从EC2 web服务器流式传输到红移

Question

我们希望将数据直接从EC2 web服务器传输到RedShift。我需要使用Kinesis吗？最佳实践是什么？在存储这些数据之前，我不打算做任何特殊的分析。我想要一个具有成本效益的解决方案(在加载之前使用DynamoDB作为临时存储可能会很昂贵)。

Answer 1

如果成本是您最关心的问题，那么准确的记录数/秒与记录大小的组合可能很重要。

如果你谈论的是非常低的消息量，那么运行在t2.micro实例上的自定义应用程序来聚合数据是最便宜的，但它不会扩展。更大的缺点是您负责监视、维护和管理该EC2实例。

现代的方法是使用Kinesis + Lambda + S3 + Redshift的组合来拥有数据流，而不需要管理EC2实例！

在这篇博客文章中描述了这种方法：A Zero-Administration Amazon Redshift Database Loader

这篇博客文章没有提到的是，现在有了API Gateway，如果你确实需要做任何类型的自定义身份验证或数据转换，你可以通过使用Lambda将数据代理到Kinesis中，而不需要EC2实例。

这看起来像这样：

API Gateway -> Lambda -> Kinesis -> Lambda -> S3 -> Redshift

Answer 2

Redshift最适合使用COPY command进行批量加载。典型的模式是将数据加载到DynamoDB、S3或Kinesis，然后在使用COPY to Redshift之前聚合事件。

另请参见this useful SO Q&A。

Answer 3

去年我使用Kinesis和Kinesis connector在我的公司内部实现了这样一个系统。Kinesis connector是亚马逊网络服务发布的一个独立应用程序，我们作为Kinesis消费者在一堆ElasticBeanStalk服务器上运行，然后连接器会每隔一段时间或每一次邮件聚合到S3上，然后它会触发Redshift的复制命令，定期将数据加载到Redshift中。由于它在EBS上运行，因此您可以调整自动缩放条件，以确保集群随着Kinesis stream中的数据量而增长和收缩。

顺便说一句，亚马逊网络服务昨天刚刚发布了Kinesis Firehose。我还没有玩过，但它看起来绝对像是Kinesis连接器的托管版本。