将数据从Marklogic复制到亚马逊S3

Question

有没有办法将数据从Marklogic Server复制/移动到亚马逊S3？我不希望移动所有数据，但希望移动属于特定集合或其他逻辑的特定文档。我可以做xdmp:save()，它可以处理几千个文档，但我有几百万条记录，这种方法在这种情况下不能很好地工作，有没有更好、更健壮的方法可以用来复制数据？我是否可以使用MLCP来完成这项工作，或者使用一个spawn模块在任务服务器上运行它并完成这项工作？我在AWS托管的ML-8上运行。

任何建议都会有很大的帮助。

致敬Amit

Answer 1

我使用mlcp export进行更改，它与集合筛选器一起工作得很好，对我来说也是如此。我还没有试过CORB2，但如果时间允许，我也会试一试

mlcp导出-host {主机} -port {端口} -username {用户名} -password {密码} -output_file_path {S3路径} -collection_filter {要移动的集合名称}

Answer 2

我将使用Corb2来简化xdmp:save()命令，因为s3://是一个内置文件系统。任何使用MLCP的解决方案都会遭受更多的数据传输，我不确定这个值，除非你还想要一个存档(如果你想保留属性，权限，集合等，这是一个有效的点)

其次，我从来没有这样做过，但我知道你可以使用S3作为森林的位置。在这种情况下，您可以将某些文档平衡到位于S3上的林。

Answer 3

您可以使用备份功能，并将目标目录设置为s3://bucket/path