定期将数据(2-3 GB)加载到运行在Kubernetes集群上的Apache Ignite集群的最佳方法

Question

数据需要定期加载(比如一天一次)，并且应该以SQL格式存储，以便API可以运行SQL查询。我们正在考虑从HDFS加载它。目前，我们正在考虑通过PutIgniteCache来使用Apache Nifi。

我在想，也许我可以启动一个远程Ignite客户端节点，然后使用IgniteDataStreamer来流式传输数据，但我找不到合适的文档来这样做。有没有更好的方法呢？

Answer 1

Nifi的文档中提到了it uses the data streamer API，所以除非您需要更多的控制，否则它看起来不是一个糟糕的选择(但需要注意的是，我以前从未听说过Nifi，使用它的人少得多！)。