我有一个nifi流,它使用putFTP处理器每分钟发送超过50个文件。服务器资源有限,但我需要以更快的速度发送。我查看了ftp服务器日志(不是nifi),并得出结论:
- CWD /
- CWD /myfiles
- CWD /
- CWD /myfiles/test
- CWD /
- CWD /myfiles/test/dest这是没有效率的。有什么办法改进putFTP吗?这是个虫子吗?
发布于 2019-07-09 10:31:00
第一个问题:使用运行持续时间
为每个文件创建一个新的ftp连接(会话)。是否有在一个会话上配置多个文件的选项?(连接到端口21,验证一次,然后在不同端口上发送多个文件)
首先,(如果它适合您的用例),您可以使用MergeContent处理器将多个(较小的)流文件合并到一个(更大的)流文件中,并将其提供给PutFTP。
其次,SupportsBatching处理器具有PutFTP注释:
处理器实现可以用来指示用户应该能够为处理器提供批处理持续时间的标记注释。如果一个处理器使用此注释,它允许框架批处理ProcessSessions‘提交,以及允许该框架多次返回相同的ProcessSession .
将PutFTP处理器的运行时间提高到更高的吞吐量,以便对许多流文件使用相同的任务。您可能需要调整属性选项卡中的Maximum Batch Size以适应该更改。

在这里读到更多关于它的信息:
第二个问题:检查源代码
当发送一个文件时,会发送许多CWD ()命令。例如,将文件发送到/myfiles/test/dest/file.txt
通过检查FTPTransfer.java,您可以看到put方法执行以下操作:
这可能就是你发现的行为。
https://stackoverflow.com/questions/56949359
复制相似问题