Openrefine memory pb

Question

大家好，感谢大家的帮助，

首先，我是一个数据库使用和它的乞讨者。请纵容我。此外，我是Xfce环境下的ubuntu用户。

我正在尝试使用Openrefine来处理大约11000行和8列的数据集。当我试图治疗它时，我遇到了记忆pb。“内存使用率: 100% (1517/1517MB)”

如下所示：

capture of memory pb

我尝试通过编写命令./ RefineOpenRefine1800m来为-m分配更多的内存

我读到我分配的空闲内存不能超过我的空闲内存的一半，也就是3800m，但即使有更多的内存，我也已经等了一夜了，openrefine不会处理数据集。我不明白为什么，因为openrefine应该可以用几个列来处理大约10万个原始数据。

我使用的是firefox浏览器。我尝试了openrefine认为更方便的Opera，但我得到了相同的结果。

一些更习惯于数据集处理的人可以帮助我吗？

Answer 1

对你的问题给出一个“官方”的回答：ODS有时它对解析器来说是一个很大的负担。因此，您可以通过将数据导出/导入为更易于阅读的CSV格式来绕过一些限制。

如OpenRefine documentation about increasing memory allocation中所述，关闭自动单元类型解析可能也会对您有所帮助。