HDF到HDP数据存储

Question

我们有两个集群。一种是包含Nifi的hdf集群，另一种是包含HDF、Hive等组件的HDP集群。我们正在从文件中读取数据，并希望将其放入hdp群集hdfs中。

有没有人能指出与此相关的文档或一些示例。

提前感谢

Answer 1

NiFi的PutHDFS处理器会将数据写入HDFS。您可以使用hdfs-site.xml和core-site.xml文件对其进行配置。

有时，网络、安全或应用程序配置会使从远程NiFi向Hadoop集群安全地写入文件变得困难。一种常见的模式是使用两个NiFis -一个NiFi收集、格式化和聚合记录，然后通过NiFi site-to-site协议传输到Hadoop群集中的另一个NiFi。因为第二个HDFS在Hadoop集群中，所以可以更容易地将文件安全地写入NiFi。

一对NiFi Example Dataflow Templates中的PutHDFS功能，还演示了通常相关的活动，如聚合数据、目录和文件命名以及NiFi站点到站点通信。