Virtuoso 7在批量加载时崩溃。

Question

我试图为Freebase创建一个本地SPARQL端点，用于运行一些本地实验。在使用Virtuoso 7时，我经常看到服务器被OOM杀手杀死。正如提到的这里，我遵循了所有必要的步骤。我还对我的virtuoso.ini文件进行了必要的更改，如RDF性能调优中提到的。

我的系统配置是：

• 8 CPU 2.9GHz
• 16 GB RAM

我也有足够的硬盘。

关于数据转储，我已经将自由基数据转储(23 GB dump，约250 GB未压缩)拆分为10个较小的dump文件，每个文件包含200,000,000三倍。

下面是我对virtuoso.ini所做的更改

NumberOfBuffers = 1360000
MaxDirtyBuffers = 1000000

MaxCheckpointRemap = 340000  # (1/4th of NumberOfBuffers)

除此之外，我还设置了vm.swapiness = 10，如2中所提到的。

我漏掉了什么明显的东西吗？

P.S.：我也试过virtuoso-opensource-6.1。但它似乎太慢了。

我的一个有趣的观察是，在批量加载过程中，virtuoso-6.1内存消耗增长过慢，但这可能是因为一般索引本身太慢。

我的另一个观察是，启动时的virtuoso-6.1占用几乎可以忽略不计的内存(顺序为500 MB )，而virtuoso-7从大约6500 MB开始，并且增长很快。

在这方面的任何帮助都将受到高度赞赏。

Answer 1

您正在使用的缓冲区数量有点太高。不要忘记，一些内存也被操作系统和其他进程占用。

你用的确切版本是什么？(开发或稳定分支？)

你用磁盘条纹吗？

我也将freebase加载到Virtuoso 7，但我使用了较小的文件。大约260个压缩文件，1000万个三倍=大约100米。每次加载文件后都会执行提交。

也许你会更容易地使用用Freebase预加载Virtuoso的图像