首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >NiFi putFTP无效

问NiFi putFTP无效
EN

Stack Overflow用户
提问于 2019-07-09 09:23:59
回答 1查看 479关注 0票数 1

我有一个nifi流,它使用putFTP处理器每分钟发送超过50个文件。服务器资源有限,但我需要以更快的速度发送。我查看了ftp服务器日志(不是nifi),并得出结论:

  • 为每个文件创建一个新的ftp连接(会话)。是否有在一个会话上配置多个文件的选项?(连接到端口21,验证一次,然后在不同端口上发送多个文件)
  • 当发送一个文件时,会发送许多CWD ()命令。例如,将文件发送到/myfiles/test/dest/file.txt:
代码语言:javascript
复制
- CWD / 
- CWD /myfiles 
- CWD / 
- CWD /myfiles/test 
- CWD / 
- CWD /myfiles/test/dest

这是没有效率的。有什么办法改进putFTP吗?这是个虫子吗?

EN

回答 1

Stack Overflow用户

发布于 2019-07-09 10:31:00

第一个问题:使用运行持续时间

为每个文件创建一个新的ftp连接(会话)。是否有在一个会话上配置多个文件的选项?(连接到端口21,验证一次,然后在不同端口上发送多个文件)

首先,(如果它适合您的用例),您可以使用MergeContent处理器将多个(较小的)流文件合并到一个(更大的)流文件中,并将其提供给PutFTP。

其次,SupportsBatching处理器具有PutFTP注释:

处理器实现可以用来指示用户应该能够为处理器提供批处理持续时间的标记注释。如果一个处理器使用此注释,它允许框架批处理ProcessSessions‘提交,以及允许该框架多次返回相同的ProcessSession .

来源:https://github.com/apache/nifi/blob/master/nifi-api/src/main/java/org/apache/nifi/annotation/behavior/SupportsBatching.java

将PutFTP处理器的运行时间提高到更高的吞吐量,以便对许多流文件使用相同的任务。您可能需要调整属性选项卡中的Maximum Batch Size以适应该更改。

​

​

在这里读到更多关于它的信息:

第二个问题:检查源代码

当发送一个文件时,会发送许多CWD ()命令。例如,将文件发送到/myfiles/test/dest/file.txt

通过检查FTPTransfer.java,您可以看到put方法执行以下操作:

  • -> get客户端
  • -> get client -> resetWorkingDirectory -> changeWorkingDirectory(homeDirectory)
  • -> setAndGetWorkingDirectory

这可能就是你发现的行为。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/56949359

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档