如何从node-red向Hadoop发送数据？

Question

我需要一种从node-red发送数据的机制，以存储在HDFS (Hadoop)中。我更喜欢数据是流式传输的。我正在考虑使用“websocket out”节点将数据写入其中，并使用Flume代理进行读取。

我是node-red的新手。

你能让我知道我的方向是否正确，如果我不是，请澄清一些细节？任何替代方法都应该是可以的。

最新消息: node-red提供了'bluemixhdfs‘节点，它与IBM bluemix绑定在一起，而我使用的只是一个普通的hadoop。

Answer 1

我最近在一个小项目中遇到了类似的问题。所以我试着解释我的方法。

一个小背景:在应用程序中，我必须对来自不同数据源的实时流数据进行一些处理。同时，我还需要存储流数据以供将来处理。

我使用Apache Kafka HDFS message broker作为Node-RED和(以及Apache Spark Stream processing engine)之间的集成代理。

在Node-RED中，我使用Kafka节点将来自不同数据源的流数据发布到Kafka中的单独主题。Node-RED flow with Streaming data sources and Apache Kafka

然后使用Kafka Connect组件Kafka HDFS Sink Connector将流数据存储到HDFS。Flow Architecture for Node-RED to HDFS and Spark Streaming using Kafka Message broker

当使用Node-RED将许多流数据源(如IoT传感器、股市数据、社交媒体数据、天气应用程序接口等)连接为单个流，然后希望使用HDFS存储这些数据以进行进一步处理时，也可以采用这种方法。

Answer 2

我担心我不是Hadoop专家，所以可能无法直接提供答案。然而，看起来Kafka支持websockets，这应该是相当高的性能。

但是，根据您的体系结构，您应该注意websocket安全性。除非NR和Hadoop都在私有安全网络上，否则websockets可能很难正确保护。

我认为，只要每个事务的数据大小不是太大(kb而不是Gb)，websocket的性能是合理的。不过，您需要做一些测试，因为有太多因素影响Node-RED的性能，无法轻松预测它是否具有所需的性能。

Node-RED支持许多类型的连接，因此如果websockets在您的体系结构中不起作用，还有很多其他类型的连接，例如UNIX管道、TCP或UDP连接。