Datastax DSBulk实用程序在将CSV数据加载到Astra时出现错误

Question

我正在使用DSBulk实用程序将数据从EC2 Cassandra节点迁移到DataStax Astra (高级帐户)。

使用的命令：dsbulk load -url folder_created_during_unload -header true -k keyspace -t table -b "secure-connect-file.zip" -u username -p password

此命令在几秒钟后显示错误。查看文档后，我发现可以在此命令中添加--executor.maxPerSecond来限制加载。

在此之后，load命令执行时没有任何错误。但是，如果我输入的值超过15,000，则load命令将再次开始显示错误。

​

​

现在，如果一个表有超过1亿个条目，并且每秒有15000个条目被迁移，那么完成一个表的迁移需要几个小时。整个数据库需要几天的时间才能迁移。

我想了解是什么导致了这个错误，以及是否有一种方法可以更快地加载数据。

Answer 1

这里发生的情况是，DSBulk正在达到数据库的速率限制。目前，看起来提高速率限制的唯一方法是向support提交工单。

要提交工单，请查看Astra Dashboard左侧导航的"Other Resources“部分。点击底部的"Get Support“。

​

​

弹出帮助中心后，点击右下角的创建请求。

​

​

在下一页中，单击右上角的绿色/青色“提交工单”按钮。描述您遇到的问题(速率限制)，以及当DSBulk设置为超过15k/秒时的输出。

​

​

Answer 2

为了增加Aaron的响应，您在Astra DB上达到了每秒4K操作的默认限制。

上周，当我们检测到您正在达到限制时，我们直接联系了您，但没有收到回复。今天，我再次直接联系您，告诉您我已经代表您记录了一个请求，要求增加您的数据库的限制。干杯!