用不同的模式合并多个csv文件

Question

我有一个目录，其中有许多csv文件，有以下3种模式: STRUCTURED_PROD、STRUCTURED_NON_PROD和非结构化的。我想把所有这些合并成3个单独的文件，只有一个头。通常的cat方法也是复制标头，因此我尝试了如下所示：

非结构化在顶部有一个额外的垃圾线。下面是我的脚本，但是只运行6个文件需要太长时间。

File_Path=/Source/temp/
for Files in $File_Path/*.csv; do

if [[ "$Files" = *STRUCTURED_PROD* ]]; then
#cat *STRUCTURED_PROD.csv > Merged_STRUCTURED_PROD.csv
awk '(NR == 1) || (FNR > 1)' *STRUCTURED_PROD.csv > Merged_STRUCTURED_PROD.csv
fi

if [[ "$Files" = *STRUCTURED_NON_PROD* ]]; then

awk '(NR == 1) || (FNR > 1)' *STRUCTURED_NON_PROD.csv > Merged_STRUCTURED_NON_PROD.csv
fi

if [[ "$Files" = *_UNSTRUCTURED* ]]; then
awk 'FNR>2 || NR==2' *_UNSTRUCTURED.csv > Merged_UNSTRUCTURED.csv
fi

done

早些时候，我尝试了这一点，而不是awk，但是它复制了头两次：

cat *STRUCTURED_PROD.csv > Merged_STRUCTURED_PROD.csv

Answer 1

您正在通过for-循环多次调用合并命令.

但你只需要给每个人打一次电话。放弃for-循环，只需执行

File_Path=/Source/temp/

awk '(NR == 1) || (FNR > 1)' ${File_Path}*STRUCTURED_PROD.csv > Merged_STRUCTURED_PROD.csv
awk '(NR == 1) || (FNR > 1)' ${File_Path}*STRUCTURED_NON_PROD.csv > Merged_STRUCTURED_NON_PROD.csv
awk 'FNR>2 || NR==2' ${File_Path}*_UNSTRUCTURED.csv > Merged_UNSTRUCTURED.csv