首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >如何从图数据库顺利删除上亿条数据?

如何从图数据库顺利删除上亿条数据?

作者头像
马超的博客
发布于 2022-09-02 09:56:06
发布于 2022-09-02 09:56:06
1.9K0
举报
文章被收录于专栏:马超的博客马超的博客

@TOC[1] Here's the table of contents:

•一、创建测试数据•二、删除测试数据 •2.1 删除 •2.2 批量删除

从图库删除所有节点

在之前的一次数据生产过程中,需要清空图数据库进行重新导入操作。但是删除过程并不是很顺利,下面我把踩坑过程写下来:)

一、创建测试数据

•创建数据

apoc.periodic.iterate可以实现迭代执行数据创建任务。其中range(1, 1000000)表示生成一千万个节点;CREATE 创建了一个只包含id属性的节点。

代码语言:javascript
复制
CALL apoc.periodic.iterate(
   'UNWIND range(1, 10000000) as id RETURN id',
   'CREATE (:节点 {id: id})',
   {}
) 
YIELD timeTaken, operations
RETURN timeTaken, operations;

•查看统计数据

代码语言:javascript
复制
  MATCH () RETURN count(*);

二、删除测试数据

MATCH (n:节点) DELETE n和MATCH (n:节点) DETACH DELETE n,这两种删除方式区别在于:第一种删除语法只能删除节点不能删除与节点相连的关系,第二种删除语法可以删除对应关系。在使用第一种方法时,如果需要删除关系则需要显式指定关系。

2.1 删除

该查询适用于少量数据的删除,在删除一千万节点数据时爆出内存溢出的问题。

代码语言:javascript
复制
  MATCH (n) DETACH DELETE n;

•DEBUG日志文件内容

当执行查询修改大量数据时,很多JAVA类会占用堆内存空间来创建操作事务日志[2]的命令,这种操作是非常消耗资源的。

在图数据库中配置的堆内存大小dbms.memory.heap.max_size=512m,因此这是报错发生的主要原因。另外,可以配置dbms.jvm.additional,在抛出OutOfMemory异常时创建堆转储文件,使用YourKit[3]或VisualVM[4]进行分析。也可以使用JConsole[5]查看堆内存的使用情况,如果本机安装了JAVA直接在搜索栏搜索JConsole即可。

代码语言:javascript
复制
dbms.jvm.additional=-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=../graphdbdump.hprof

2.2 批量删除

通过2.1简要分析了一下报错原因,下面我需要分批删除节点,这样就不会有太多的内存状态。

•apoc.periodic.iterate

这种方式有时候是可行的,但有时会填满整个堆,并造成很多垃圾收集暂停。在我实际操作时,一千多万数据删除其实是可以正常运行的,测试数据增加到一个亿时也发生了报错。通过对堆内存的分析可以看到实际上堆内存是包含了大量的节点对象,这和2.1中大量命令占用是堆内存不同。如果测试集更大还是会出现报错的问题。

代码语言:javascript
复制
CALL apoc.periodic.iterate(
    'MATCH (n) RETURN n',
    'DELETE n',
    {batchSize: 10000}
)
YIELD timeTaken, operations
RETURN timeTaken, operations

★★★apoc .periodic.commit

为了避免将所有这些节点加载到内存中,我们可以使用apocj .periodic.commit过程。在这个过程中,我们提供了一个必须包含LIMIT子句的查询。另外还需要在查询的末尾包含一个RETURN子句,只要返回了结果,它就会继续迭代。

代码语言:javascript
复制
CALL apoc.periodic.commit(
    'MATCH (n) WITH n LIMIT $limit DELETE n RETURN count(*)',
    {limit: 10000}
)
YIELD updates, executions, runtime, batches
RETURN updates, executions, runtime, batches;

这种方式在更大的数据集上也能正常执行,更多的数据也能被正常删除。

References

[1] TOC: 如何从图数据库顺利删除上亿条数据? [2] 事务日志: https://neo4j.com/docs/operations-manual/current/configuration/transaction-logs/ [3] YourKit: https://www.yourkit.com/ [4] VisualVM: https://visualvm.github.io/ [5] JConsole: https://docs.oracle.com/javase/8/docs/technotes/guides/management/jconsole.html

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-06-16,如有侵权请联系 cloudcommunity@tencent.com 删除
目录
  • 从图库删除所有节点
  • 一、创建测试数据
  • 二、删除测试数据
    • 2.1 删除
    • 2.2 批量删除
    • References
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档