如何使用Miller命令行工具将一个大型CSV文件拆分为多个JSON文件？

Question

我目前正在使用这个米勒命令将CSV文件转换为JSON数组文件：

mlr --icsv --ojson --jlistwrap cat sample.csv > sample.json

它工作正常，但是JSON数组太大了。

X 米勒可以将输出拆分成许多较小的JSON文件，包括、、行和。

例如，如果原始CSV有100行，我可以修改命令输出10个JSON文件，每个JSON数组包含10个转换后的CSV行吗？

如果每个JSON也可以像这样包装：加分：

{
  "instances": 

//JSON ARRAY GOES HERE

}

Answer 1

你可以运行这个

mlr --c2j --jlistwrap put -q '
  begin {
    @batch_size = 1000;
  }
  index = int(floor((NR-1) / @batch_size));
  label = fmtnum(index,"%04d");
  filename = "part-".label.".json";
  tee > filename, $*
' ./input.csv

每1000个记录就有一个名为part-00xx的文件。