如何删除Marklogic中的数百万个文档

Question

我们在Marklogic中搜索并尝试了几种删除文档的方法，但没有找到一种可靠的方法来删除数百万文档，而无需检查它们是否已经被删除。我们发现删除整个集合的方式是使用xdmp:collection-delete函数，但它确实很慢。我们发现的最快的方法是使用下面的XQuery。但是我们必须运行XQuery，等待它完成，检查集合中是否还有任何文档，并重复几次直到所有内容都被删除。

我们根本不擅长编码XQuery，所以我们可能遗漏了一些东西。

Marklogic社区如何快速可靠地删除数百万个文档？

下面是我们使用的XQuery：

xquery version "1.0-ml";
let $page-size := 1000
let $uris := cts:uris('', (), cts:collection-query('OurCollection'))
let $pages := (count($uris) idiv $page-size) + 1
return 
  for $page in (1 to $pages)
  let $start := (($page - 1) * $page-size) + 1 
  let $end := $page * $page-size
  let $uris := subsequence($uris, $start, $end)
  return
    xdmp:spawn-function(function(){
      for $uri in $uris
      return
        xdmp:document-delete($uri)
    });

Answer 1

像您所展示的那样，产生大量的删除是一种方法，而且是最简单的，而且没有任何外部工具。您可以增加任务服务器线程以获得更多的并发性，但仍然需要一段时间。

执行批量活动的另一种非常常见的方法，如删除数百万个文档，是运行一个CoRB作业。您可以控制作业用于并发请求的线程数，并使用负载均衡器或CoRBs多主机负载平衡功能将请求发送到所有E节点。

https://help.marklogic.com/Knowledgebase/Article/View/best-practices-for-improving-the-performance-of-large-collections-deletes