使用dsbulk在cassandra中加载数据时出现问题

Question

我在使用dsbulk将数据从.csv文件加载到表中时遇到问题。我在错误日志中得到如下所示。

原因: com.datastax.driver.core.exceptions.OperationTimedOutException: /10.0.126.13:9042等待服务器响应超时

此环境是我们包含3个节点、8个CPU和64G内存的POC环境。根据我的观察，当我运行dsbulk命令时，它会耗尽服务器上的所有CPU，并且内存消耗也会很高。

如果你能给我指向微调dsbulk的指针，通过它可以减少cpu使用量/内存消耗。如果此操作速度变慢，并且性能可控，我可以接受它。

Answer 1

您可以指定--executor.maxPerSecond选项来限制每秒的操作数。请参阅documentation for DSBulk。

您还可以尝试调整batching options，如--batch.maxBatchStatements。

还建议从单独的机器上运行DSBulk，以防止它影响DSE的性能。(这是对所有负载测试的通用建议，等等)

Answer 2

感谢大家的帮助，我能够通过下载最新版本的debulk并将批量大小设置为5000来解决这个问题。