带数据流的MLCP

Question

不确定这个问题是否有效..。

captures -我将编写一个从外部REST端点捕获大量数据的应用程序，我想使用MLCP来存储来自外部REST端点到MarkLogic的数据流。

有可能使用MLCP吗？

请给出你的解决方案。

Answer 1

DMSDK (DMSDK)可能有助于满足您的要求：

http://docs.marklogic.com/guide/java/data-movement

Answer 2

如果你所说的“流”指的是空间和时间上的无限制，而“巨大”指的是多个GB+，那么没有一个MLCP不是正确的选择，或者是不够的。MLCP是一个命令行“批处理”程序，在启动它之前，您需要在本地存储所有数据，而不是这个意义上的“流”。

在任何情况下，在发送到MarkLogic之前，您都需要拆分数据--理想情况下，块(文档)<100 In (不是一个神奇的数字，只是一个很好的上限)。因此，您的流代码需要读取数据，对其进行缓冲，将其拆分为“块”，然后发送到ML。一旦进入“块”，那么任何到ML的API都可以工作，包括MLCP。在不同的API之间有性能和可用性的权衡--我将把它留给另一个讨论。