我应该如何将我的事件流坚持到冷库？

Question

我有一个事件流(我们可以将它们称为“消息”，甚至仅仅是“数据”)，它们来自具有基于时间的保留的事件代理。事件代理可以是卡夫卡、亚马逊动态或Microsoft事件中心，但我们可以说是卡夫卡。

我的目标是获取这个事件流，并将其放入冷库；也就是说，通过Hadoop/Spark存储数据以供将来的分析。这意味着我希望将这个“聊天”事件流转换为HDFS中的“块状”文件。在云环境中，我可能使用S3或Azure存储而不是HDFS。

我还希望我的解决方案具有成本效益；例如，使用像Avro/ORC这样的序列化格式来降低磁盘空间成本。我也像一个至少一次的守护者，一个给定的事件是持之以恒的冷藏(加分一次和唯一一次)。

我的核心问题是：

• 人们是如何解决这个问题的？
• 外面的组件已经处理过这个场景了吗？
• 我需要自己开发一个解决方案吗？
• ，至少，它们有推荐的模式吗？

Answer 1

好的，我们使用kafka与加缪一起将数据从kafka获取到HDFS。Camus支持avro序列化。你可以找到更多关于加缪和阿夫罗这里的信息。

Answer 2

另一种选择是使用带Kafka源(或Kafka通道)和HDFS接收器的Flume。HDFS接收器可以配置为以特定的大小或时间滚动。