Cassandra中的批量加载、脏读问题及其在集群中的影响

Question

我们的用例是将批量数据加载到实时生产Cassandra集群中。我们必须每天在Cassandra中加载批量数据。我们遇到了sstableloader。我们有几个关于相同的问题：

1:当我们使用sstableloader将批量数据加载到我们的实时生产集群中时，我们是否有机会进行脏读？(基本上，sstableloader是一次加载所有数据，还是在获取数据时继续更新？)脏读在我们的生产环境中是不可接受的。

2:当我们将批量数据加载到我们的实时生产集群中时，是否会影响集群的可用性？(基本上我们正在将大量数据加载到实时生产集群中，这是否会影响其性能？我们是否需要增加集群节点以使其在批量加载期间高度可用？)

3:如果在使用sstableloader的实时生产集群中存在脏读的可能性，请建议可以避免此问题的替代工具。我们希望所有批量数据一次出现，而不是增量。

谢谢!

Answer 1

1. SStableloader以增量方式加载数据。它不会一次加载所有内容。
2. 它肯定会有影响。这种影响的严重程度取决于流入的数据的大小以及许多其他因素。您可以使用sstableloader中的选项来限制吞吐量，这在这方面可能会有所帮助。在测试集群上运行此用例，并查看sstableloader将对您的数据集产生的影响。
3. 除非您愿意停机，否则如果不给出至少一个小的时间范围，就无法实现这一点。

例如，对于更具冒险精神的用户，您可能会将SSTables直接添加到所有节点的数据文件夹中，然后运行nodetool refresh。然而，这将不是完全同步的，因此在短时间内容易出现读脏或读失败的情况。