apache-nifi:如何在使用模板时避免重复

Question

我正在使用NiFi在远程配置单元上执行一些查询。

因为查询很复杂，并且不会选择任何东西，所以我使用需要将查询作为FlowFile的PutHiveQL处理器。

为了在流文件中生成查询，我使用后跟ReplaceText的GenerateFlowFile。

集群有3台主机，查询执行了3次。

有没有办法以一种简单的方式生成/执行这个查询？

为了避免重复，我尝试先使用HashContent，然后使用DetectDuplicate，但我面临着缓存持久性问题。

如何使用处理器从DistributedMapCacheService中删除条目？

有没有办法设置存储到DistributedMapCacheService中的每个条目的TTL

Answer 1

您可以从processor的scheduling选项卡中调度GenerateFlowFile processor在“仅主节点”上运行。这将导致集群中只有主节点执行该处理器，因此只执行一个查询。