Apache Flume的好处

Question

我是Apache Flume的新手。我知道Apache Flume可以帮助传输数据。

但是我仍然看不到Apache Flume提供的最终好处。如果我可以配置一个软件或者让一个软件把哪些数据发送到哪里，为什么我需要Flume？

也许有人可以解释一下Apache Flume的好处？

Answer 1

可靠传输(如果您使用文件通道)：Flume发送批量小事件。每次它向下一个节点发送批次时，它都会等待确认，然后才会删除。文件通道中的存储经过优化，以允许在崩溃时进行恢复。

Answer 2

我认为从flume中获得的最大好处是可扩展性。基本上所有组件都是从源、拦截器和接收器开始的，一切都是可扩展的。

我们使用flume并使用自定义kakfa源读取数据，数据是JSON格式的，我们在自定义kafka源中解析它，然后将其传递到HDFS接收器。它在5%的节点上可靠地工作。我们只扩展了kafka源，HDFS接收器功能，我们开箱即用。

同时，作为Hadoop生态系统的一员，您可以获得强大的社区支持和多种选择，以不同的方式使用这些工具。