嵌套环交叉污染

Question

我想将一大组CSV合并成多个100万行文件，不知怎么的，CSV的文件名正在以大组的形式污染我的输出。没有地方回显$file变量，所以我不知道它们为什么会出现在输出中。

我使用的数据被签入github

batchnum=1
ctr=1
IFS=$'\n'
for file in `ls -1 *.csv`
do
  for data in `cat $file`
  do
    echo $data >> batch${batchnum}.csv
    ctr=$[ctr + 1]
    if [ $ctr -eq 1000000 ]
    then
      batchnum=$[$batchnum + 1]
      ctr=1
  fi
  done
done

这不是一个真正重要的问题，但它让我挠头。

Answer 1

这些CSV文件中有几个文件中的数据看起来像shell中的球形。因为您的脚本以未引用的方式执行echo $data，所以您将在输出中看到整个目录的内容作为全局展开。您可以通过使用更多的引号来解决这个问题：

echo "$data" >> batch${batchnum}.csv

这也会导致bash不重击空格。或者您可以禁用glob扩展：

set -f
echo $data >> batch${batchnum}.csv