
@TOC[1] Here's the table of contents:
•一、创建测试数据•二、删除测试数据 •2.1 删除 •2.2 批量删除
在之前的一次数据生产过程中,需要清空图数据库进行重新导入操作。但是删除过程并不是很顺利,下面我把踩坑过程写下来:)
•创建数据
apoc.periodic.iterate可以实现迭代执行数据创建任务。其中range(1, 1000000)表示生成一千万个节点;CREATE创建了一个只包含id属性的节点。
CALL apoc.periodic.iterate(
'UNWIND range(1, 10000000) as id RETURN id',
'CREATE (:节点 {id: id})',
{}
)
YIELD timeTaken, operations
RETURN timeTaken, operations;

•查看统计数据
MATCH () RETURN count(*);
MATCH (n:节点) DELETE n和MATCH (n:节点) DETACH DELETE n,这两种删除方式区别在于:第一种删除语法只能删除节点不能删除与节点相连的关系,第二种删除语法可以删除对应关系。在使用第一种方法时,如果需要删除关系则需要显式指定关系。
该查询适用于少量数据的删除,在删除一千万节点数据时爆出内存溢出的问题。
MATCH (n) DETACH DELETE n;
•DEBUG日志文件内容
当执行查询修改大量数据时,很多JAVA类会占用堆内存空间来创建操作事务日志[2]的命令,这种操作是非常消耗资源的。

在图数据库中配置的堆内存大小
dbms.memory.heap.max_size=512m,因此这是报错发生的主要原因。另外,可以配置dbms.jvm.additional,在抛出OutOfMemory异常时创建堆转储文件,使用YourKit[3]或VisualVM[4]进行分析。也可以使用JConsole[5]查看堆内存的使用情况,如果本机安装了JAVA直接在搜索栏搜索JConsole即可。
dbms.jvm.additional=-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=../graphdbdump.hprof

通过
2.1简要分析了一下报错原因,下面我需要分批删除节点,这样就不会有太多的内存状态。
•apoc.periodic.iterate
这种方式有时候是可行的,但有时会填满整个堆,并造成很多垃圾收集暂停。在我实际操作时,一千多万数据删除其实是可以正常运行的,测试数据增加到一个亿时也发生了报错。通过对堆内存的分析可以看到实际上堆内存是包含了大量的节点对象,这和
2.1中大量命令占用是堆内存不同。如果测试集更大还是会出现报错的问题。
CALL apoc.periodic.iterate(
'MATCH (n) RETURN n',
'DELETE n',
{batchSize: 10000}
)
YIELD timeTaken, operations
RETURN timeTaken, operations


★★★apoc .periodic.commit
为了避免将所有这些节点加载到内存中,我们可以使用apocj .periodic.commit过程。在这个过程中,我们提供了一个必须包含LIMIT子句的查询。另外还需要在查询的末尾包含一个RETURN子句,只要返回了结果,它就会继续迭代。
CALL apoc.periodic.commit(
'MATCH (n) WITH n LIMIT $limit DELETE n RETURN count(*)',
{limit: 10000}
)
YIELD updates, executions, runtime, batches
RETURN updates, executions, runtime, batches;这种方式在更大的数据集上也能正常执行,更多的数据也能被正常删除。
[1] TOC: 如何从图数据库顺利删除上亿条数据?
[2] 事务日志: https://neo4j.com/docs/operations-manual/current/configuration/transaction-logs/
[3] YourKit: https://www.yourkit.com/
[4] VisualVM: https://visualvm.github.io/
[5] JConsole: https://docs.oracle.com/javase/8/docs/technotes/guides/management/jconsole.html