我有一个使用getFile处理器的流。输入目录是网络挂载点。当我在小文件(les大于1GB)上测试流时,它工作得很好。当我在更大的文件(超过1GB)上测试它时,我得到以下错误:
GetFileid=f1a533fd-1959-16d3-9579-64e64fab1ac6无法检索文件,原因是org.apache.nifi.processor.exception.FlowFileAccessException:未能将数据从/path/ to /目录导入到StandardFlowFileRecorduuid=f8389032-c6f5-43b9-a0e3-7daab3fa115a,claim=、offset=0、name=490908299598990、size=0的java.io.IOException:未能写入FileSystemRepository流[StandardContentClaim [resourceClaim=StandardResourceClaimid=1486976827205-28,container=default、section=28、offset=0、length=45408256]
你知道这个错误的原因吗?
谢谢你的回答
发布于 2020-07-02 19:08:20
根据评论,安迪找到了这个具体案件的答案,并得到了提问者的证实:
内容存储库与文件大小的比例太小。
对于未来的读者来说,另一件事是Nifi节点的内存是否足够大以容纳单个消息。
发布于 2021-01-27 16:24:31
虽然丹尼斯给出的答案是正确的,分析其根本原因,但没有一个解决办法,所以让我提供一个。
集装箱的答案/解决方案
因为您不能为停靠器volume指定一个大小,所以如果您缺少流文件内容所需的空间,我们就不能将它们用于此任务。
相反,我建议使用bind mounts。这样,你就可以(理论上)使用你所有的机器磁盘。
# Create a folder where to locate the NiFi Flowfiles content in the host
mkdir -p /tmp/data/nifi/nifi-data-content_repository然后,修改docker-compose.yml文件以修改要使用的存储类型。具体来说,您必须查找内容存储库卷:
- type: source
source: nifi-data-content_repository
target: /opt/nifi/nifi-current/content_repository并将其替换为针对我们刚才创建的文件夹的绑定挂载:
- type: bind
source: /tmp/data/nifi/nifi-data-content_repository
target: /opt/nifi/nifi-current/content_repository准备好了,现在您可以用这个挂载重新部署您的NiFi,它能够使用您的主机磁盘空间。
阅读关于官方文件中绑定挂载的更多信息。
https://stackoverflow.com/questions/42200652
复制相似问题