问使用elasticsearch对7TB的数据进行索引。FScrawler在一段时间后停止
EN

Stack Overflow用户

提问于 2019-12-10 02:04:13

回答 1查看 106关注 0票数 1

我正在使用fscrawler创建一个超过7TB的数据索引。索引开始时很好，但当索引大小达到2.6 to时就停止了。我认为这是一个内存问题，我如何配置内存？

我的机器内存是40 is，我已经分配了12 is给elasticsearch。

发布于 2020-06-10 23:27:32

您可能还需要使用FS_JAVA_OPTS为FSCrawler分配足够的内存。像这样：

FS_JAVA_OPTS="-Xmx4g -Xms4g" bin/fscrawler

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/59254334

复制

相似问题

问使用elasticsearch对7TB的数据进行索引。FScrawler在一段时间后停止EN