WSO2SP流处理器，从MongoDB加载数据

Question

我正在尝试从mongodb集合加载数据。该集合包含超过10M个文档，我找不到任何方法来限制SP加载的文档数量。

显然，WsoSO将所有文档加载到内存中，wisch引发了java内存不足错误。

有什么建议吗？

谢谢

Answer 1

MongoDB不会将所有数据加载到内存。这将取决于您的连接查询。

from TestStream join TestTable
select * 
into Outputstream;

是的，这将加载所有数据，因为您没有限制要获取哪些记录。添加适当的on条件，它将只加载所需的记录。

Answer 2

谢谢Niveathika

如果我直接在mongodb中执行查询，它的工作没有任何问题。

在WSO2 SP内部，我添加了(Limit 1)来限制结果。

就像贝洛一样：

从TestStream join TestTable

选择*

限制1

转换为Outputstream；

我有外存错误。

致以问候。