用Neo4j批量插入

Question

我从一个表中导入了23亿个关系，导入速度不是很快，达到每小时500万次，需要20天才能完成迁移。我听说过neo4j批处理插入和批插入实用程序。这个实用工具通过从csv文件中导入来做一些有趣的事情，但是最新的代码是如何破坏和不运行的。

我在neo4j有大约1亿的关系，我必须检查一下，没有重复的关系。

如何在neo4j中快速处理

按当前代码是类似的

begin transaction
for 50K relationships
create or get user node for user A
create or get user node for user B
check there is relationship KNOW between A to B if not create the relationhsip
end transaction

我亦曾阅读以下资料：

• Neo4j批量插入
• 如何加快Neo4j中的插入速度

Answer 1

在关系的情况下，如果您有足够的存储空间，我就不会在导入阶段建立唯一的关系--现在我实际上也在导入一个包含大约300万条记录的SQL表，但是我总是创建一个关系，并且不介意它是否是复制的。

在导入之后，您可以简单地执行一个密码查询，这个查询将显示如下所示的唯一关系：

START n=node(*) MATCH n-[:KNOW]-m
CREATE UNIQUE n-[:KNOW2]-m;

和

START r=rel(*) where type(r)='KNOW' delete r;

至少现在这是我的方法，运行后面的密码查询只需几分钟。问题可能是当您有大量节点时，密码查询可能会陷入内存错误(取决于您为neo4j引擎设置了多少缓存)。

Answer 2

如何从索引中查找“为用户A获取用户节点”？索引查找确实会减缓批处理插入速度。尝试在索引的“前面”一个简单的HashMap中缓存尽可能大一部分用户，或者使用BatchInserterIndex#setCacheCapacity