首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >awk:多行排序和删除不能像预期的那样使用RS

问awk:多行排序和删除不能像预期的那样使用RS
EN

Stack Overflow用户
提问于 2020-06-09 22:15:09
回答 1查看 51关注 0票数 0

我正在处理一个多行文件,该文件有一个RS of \n (\012)和一个FS为\035。

我的最终目标是删除基于某一列的重复项,但该文件不是固定宽度的,并且某些列是可选的。

我尝试使用以下命令解析该文件:

awk -v FS='\035' -v RS= -v ORS='\n' '{print $4}' filename

awk 'BEGIN{RS="\n"; FS="\035"} {print NR, NF, $0}' filename

awk -v RS='\012' -F'\035' '!seen[$4]++' filename

不幸的是,如果一条记录跨越多行,awk不会将这些行视为记录的一部分:

代码语言:javascript
复制
1 "Column4"
2 "Column4"
3
4 "Column4"
5
6 "Column4"
7
8
9
10 "Column4"

在上面的文件中,空行代表记录的一部分,因此第4行实际上应该是第3行(第3行中不存在Column4,因为它是第2行的多行记录)。当我在vi编辑器中查看文件时,跨转的记录以^M$结尾,而记录的结尾仅以$结尾。

我希望有人能指导我如何正确地读取这个文件,这样我就可以最终删除基于重复Column4值的记录。

awk -v RS='\012' -F'\035' '!seen[$4]++' filename

上面只适用于单行记录,但我需要帮助删除基于Column4的重复行,而不管是单行还是多行,但应该考虑RS和FS。

添加示例输入:

代码语言:javascript
复制
"TEST"^]"1234"^]"ABCD"^]"121212"^]"1"^]"Some^M$
test data"^]"0"^]"08.06.2020"^]$
"TEST"^]"1234"^]"DEFG"^]"121212"^]"1"^]"Some test data"^]"0"^]"08.06.2020"^]$
"TEST"^]"1234"^]"HIJK"^]"232323"^]"1"^]"Some test ^M$
data"^]"0"^]"08.06.2020"^]$
"TEST"^]"1234"^]"LMNO"^]"232323"^]"1"^]"Some ^M$
test ^M$
data"^]"0"^]"08.06.2020"^]$
"TEST"^]"1234"^]"PQRS"^]"343434"^]"1"^]"Some test data"^]"0"^]"08.06.2020"^]$
"TEST"^]"1234"^]"121212"^]"343434"^]"1"^]"Some ^M$
Test^M$
^M$
data"^]"0"^]"08.06.2020"^]$
"TEST"^]"1234"^]"TUVW"^]"565656"^]"1"^]"Some^M$
test^M$
data"^]"0"^]"08.06.2020"^]$

输出应仅打印唯一的第4列的值:

代码语言:javascript
复制
121212
232323
343434
565656
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-06-09 23:55:11

我相信您感兴趣的是以下内容:

代码语言:javascript
复制
awk 'BEGIN{FS="\035"}
     (record && $0 ~ "\035$") { split(record,a); if (!s[a[4]]++) print record; record="" }
     { record = record (record?"ORS":"") $0 }
     END { split(record,a); if (!s[a[4]]++) print record; }' file

或者使用用于多字符RS的GNU awk

代码语言:javascript
复制
awk 'BEGIN{FS="\035";RS="\035\012"}!s[$4]++' file
票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/62284707

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档