首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Nifi未能写入FileSystemRepository流

问Nifi未能写入FileSystemRepository流
EN

Stack Overflow用户
提问于 2017-02-13 09:27:27
回答 2查看 2.7K关注 0票数 5

我有一个使用getFile处理器的流。输入目录是网络挂载点。当我在小文件(les大于1GB)上测试流时,它工作得很好。当我在更大的文件(超过1GB)上测试它时,我得到以下错误:

GetFileid=f1a533fd-1959-16d3-9579-64e64fab1ac6无法检索文件,原因是org.apache.nifi.processor.exception.FlowFileAccessException:未能将数据从/path/ to /目录导入到StandardFlowFileRecorduuid=f8389032-c6f5-43b9-a0e3-7daab3fa115a,claim=、offset=0、name=490908299598990、size=0的java.io.IOException:未能写入FileSystemRepository流[StandardContentClaim [resourceClaim=StandardResourceClaimid=1486976827205-28,container=default、section=28、offset=0、length=45408256]

你知道这个错误的原因吗?

谢谢你的回答

EN

回答 2

Stack Overflow用户

发布于 2020-07-02 19:08:20

根据评论,安迪找到了这个具体案件的答案,并得到了提问者的证实:

内容存储库与文件大小的比例太小。

对于未来的读者来说,另一件事是Nifi节点的内存是否足够大以容纳单个消息。

票数 1
EN

Stack Overflow用户

发布于 2021-01-27 16:24:31

虽然丹尼斯给出的答案是正确的,分析其根本原因,但没有一个解决办法,所以让我提供一个。

集装箱的答案/解决方案

因为您不能为停靠器volume指定一个大小,所以如果您缺少流文件内容所需的空间,我们就不能将它们用于此任务。

相反,我建议使用bind mounts。这样,你就可以(理论上)使用你所有的机器磁盘。

代码语言:javascript
复制
# Create a folder where to locate the NiFi Flowfiles content in the host
mkdir -p /tmp/data/nifi/nifi-data-content_repository

然后,修改docker-compose.yml文件以修改要使用的存储类型。具体来说,您必须查找内容存储库卷:

代码语言:javascript
复制
- type: source
  source: nifi-data-content_repository
  target: /opt/nifi/nifi-current/content_repository

并将其替换为针对我们刚才创建的文件夹的绑定挂载:

代码语言:javascript
复制
- type: bind
  source: /tmp/data/nifi/nifi-data-content_repository
  target: /opt/nifi/nifi-current/content_repository

准备好了,现在您可以用这个挂载重新部署您的NiFi,它能够使用您的主机磁盘空间。

阅读关于官方文件中绑定挂载的更多信息。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/42200652

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档