如何将DSBulk卸载生成的文件限制为一个CSV文件？

Question

我在EC2实例中运行了下面的命令，从cassandra卸载数据并将其存储在EC2中的某个位置，但我注意到，无论文件大小有多大，对于每个dsbulk卸载命令，它都会生成2个json文件。

如何控制生成了多少文件？例如，假设我想要一个特殊的ds散包卸载来生成5个部件文件，而不是2个？

dsbulk unload -k custdata -t orderhistory -h '172.xx.xx.xxx' -c json -url proddata/json/custdata/orderhistory/data

Answer 1

如果机器有多个核心，DataStax散装装载机的默认行为是将任务并行到多个线程中。

若要将写入文件的数量限制为单个CSV，请将文件并发设置为1，其中：

$ dsbulk -maxConcurrentFiles 1 ...

请注意，这将限制DSBulk的吞吐量，因为它将是单线程的。

有关详细信息，请参阅DSBulk连接器选项。干杯!

使用-maxConcurrentFiles中的单个破折号(-)更新了的使用，这是亚历克斯·杜特拉/DSBulk的建议。