我正在处理一个多行文件,该文件有一个RS of \n (\012)和一个FS为\035。
我的最终目标是删除基于某一列的重复项,但该文件不是固定宽度的,并且某些列是可选的。
我尝试使用以下命令解析该文件:
awk -v FS='\035' -v RS= -v ORS='\n' '{print $4}' filename
awk 'BEGIN{RS="\n"; FS="\035"} {print NR, NF, $0}' filename
awk -v RS='\012' -F'\035' '!seen[$4]++' filename
不幸的是,如果一条记录跨越多行,awk不会将这些行视为记录的一部分:
1 "Column4"
2 "Column4"
3
4 "Column4"
5
6 "Column4"
7
8
9
10 "Column4"在上面的文件中,空行代表记录的一部分,因此第4行实际上应该是第3行(第3行中不存在Column4,因为它是第2行的多行记录)。当我在vi编辑器中查看文件时,跨转的记录以^M$结尾,而记录的结尾仅以$结尾。
我希望有人能指导我如何正确地读取这个文件,这样我就可以最终删除基于重复Column4值的记录。
awk -v RS='\012' -F'\035' '!seen[$4]++' filename
上面只适用于单行记录,但我需要帮助删除基于Column4的重复行,而不管是单行还是多行,但应该考虑RS和FS。
添加示例输入:
"TEST"^]"1234"^]"ABCD"^]"121212"^]"1"^]"Some^M$
test data"^]"0"^]"08.06.2020"^]$
"TEST"^]"1234"^]"DEFG"^]"121212"^]"1"^]"Some test data"^]"0"^]"08.06.2020"^]$
"TEST"^]"1234"^]"HIJK"^]"232323"^]"1"^]"Some test ^M$
data"^]"0"^]"08.06.2020"^]$
"TEST"^]"1234"^]"LMNO"^]"232323"^]"1"^]"Some ^M$
test ^M$
data"^]"0"^]"08.06.2020"^]$
"TEST"^]"1234"^]"PQRS"^]"343434"^]"1"^]"Some test data"^]"0"^]"08.06.2020"^]$
"TEST"^]"1234"^]"121212"^]"343434"^]"1"^]"Some ^M$
Test^M$
^M$
data"^]"0"^]"08.06.2020"^]$
"TEST"^]"1234"^]"TUVW"^]"565656"^]"1"^]"Some^M$
test^M$
data"^]"0"^]"08.06.2020"^]$输出应仅打印唯一的第4列的值:
121212
232323
343434
565656发布于 2020-06-09 23:55:11
我相信您感兴趣的是以下内容:
awk 'BEGIN{FS="\035"}
(record && $0 ~ "\035$") { split(record,a); if (!s[a[4]]++) print record; record="" }
{ record = record (record?"ORS":"") $0 }
END { split(record,a); if (!s[a[4]]++) print record; }' file或者使用用于多字符RS的GNU awk
awk 'BEGIN{FS="\035";RS="\035\012"}!s[$4]++' filehttps://stackoverflow.com/questions/62284707
复制相似问题