hadoop同步日志的体系结构

Question

我在几个云提供商之间有不同的环境，比如windows服务器、rackspace中的linux服务器、aws..etc。在这和内部网络之间有一道防火墙。

我需要构建一个实时服务器环境，在这个环境中，所有新生成的IIS日志、apache日志都将同步到内部大数据环境。

我知道有些工具，如Splunk或Sumologic可能会有所帮助，但我们需要在开源技术中实现这种逻辑。由于防火墙的存在，我假设我只能从云提供商那里提取日志而不是推送。

谁能和我分享什么是经验法则或公共架构来同步NRT中的大量日志(几乎是实时的)？我听说了Apache，Kafka，想知道这些是必需的，还是仅仅是使用rsync之类的东西而已。

Answer 1

您可以使用rsync获取日志，但不能像Spark Streaming或Apache Storm那样分析它们。

你可以选择这两种方法之一。

1. Apache Spark Streaming + Kafka

或

1. Apache Storm + Kakfa

看看这个关于这两个选项的集成方法的文章。

看看这个介绍性，它涵盖了对Spark Streaming和Apache Storm的深入分析.

性能取决于您的用例。Spark Steaming is 40x faster to Storm处理但是，如果您添加了"reliability“作为关键标准，那么数据应该先移到HDFS中，然后再通过Spark进行处理。它将减少最终吞吐量。

可靠性限制: Apache

1. 精确的一次处理需要持久的数据源。
2. 至少一次处理需要可靠的数据源。
3. 可以包装不可靠的数据源以提供额外的保证。
4. 有了持久和可靠的来源，Storm不会丢弃数据。
5. 常见模式:用Apache返回不可靠的数据源(轻微的延迟命中换取100%的持久性)。

可靠性限制:火花流

1. 容错和可靠性保证需要HDFS支持的数据源。
2. 在流处理之前将数据移动到HDFS会带来额外的延迟。
3. 网络数据源(Kafka等)在员工节点失败时易受数据丢失的影响。