如何使用mlcp加载许多(100K+) XML文档而不遇到“参数列表太长”的错误？

Question

当我试图使用mlcp在MarkLogic 10.10.4上加载16万个XML文档到MacOS 8.0-2中时，会引发mlcp-Hadoop2-1.3-1/bin/mlcp.sh: line 16: /usr/bin/java: Argument list too long错误。

我发出的命令：

mlcp import -database FO -username sss4r -password ******* -host localhost -port 8003 -mode local -input_file_pattern '*\.xml' -output_uri_replace "/Users/sss4r/Documents/FOPOC,''" -input_file_path .

我意识到这可能是Unix问题，mlcp正在使用文件系统工具返回名称列表。在一个命令中可以处理多少文件名，有一个基于系统的限制。

在解决这个问题时，建议的最佳实践是什么？试图以较小的块进行大容量装载？试图修改系统的限制？

谢谢。

Answer 1

MLCP不依赖于shell扩展来加载文件。恐怕外壳扩展是在mlcp.sh内部发生的，但只是无意的。如果要删除输入文件模式param，您可能会看到它将加载所有文件。一个快速的解决方法是将文件放在子dir中，不要使用文件模式，只需将子dir指向input_file_path。

罗伯·S.给出了另一种解决办法来防止这一点。将您的参数放在一个文件中，每个param放在一个单独的行中，并指向命令行上的-options_file参数。这也避免了引号和其他特殊字符无意中被shell环境解释的问题。

这里有更多详细信息：36150

哈哈！

PS:我提交了一个改进MLCP的错误(#33670)。

Answer 2

首先，如果在命令行参数值可能被shell内插时使用options文件，您将省去很多麻烦。否则，你最终会与贝壳的引用作斗争。Geert已经提供了到该语法的链接，所以我不会重复它。

其次，-input_file_pattern需要一个Java正则表达式。*\.xml可能不是你想要的。你可能指的是.*\.xml。有关mlcp使用的模式语言的链接，请参见：

10243