我有一个具有以下结构的文件:
1486113768 3656
1486113768 6280
1486113769 530912
1486113769 5629824
1486113770 5122176
1486113772 3565920
1486113772 530912
1486113773 9229920
1486113774 4020960
1486113774 4547928我的目标是消除第一列中的重复值,对第二列中的值进行求和,并使用新列值更新行:上面输入的工作输出将是:
1486113768 9936 # 3656 + 6280
1486113769 6160736 # 530912 + 5629824
1486113770 5122176 # ...
1486113772 4096832
1486113773 9229920
1486113774 8568888我知道cut,uniq:直到现在,我还在第一列中找到了重复的值:
cut -d " " -f 1 file.log | uniq -d
1486113768
1486113769
1486113772
1486113774有什么办法可以达到我的目标吗?我知道它是一个非常强大而简洁的工具:我之前用过它
awk '{print $2 " " $3 >> $1".log"}' log.txt要扫描log.txt中的所有行并创建一个以$1作为名称的.log文件,并在其中填充$2和$3值,请全部放在一条bash行( read循环见鬼!);是否有一种方法可以查找第一列重复项、与其第二列值和第二列值相加、重写删除重复项并打印第二列之和的行?
发布于 2017-02-03 12:29:20
使用Awk,如下所示
awk '{ seen[$1] += $2 } END { for (i in seen) print i, seen[i] }' file1
1486113768 9936
1486113769 6160736
1486113770 5122176
1486113772 4096832
1486113773 9229920
1486113774 8568888{seen[$1]+=$2}创建一个散列映射,将$1作为索引值处理,并且只有文件中来自$1的唯一项的和才会增加。
发布于 2017-02-03 15:44:03
$ awk '$1!=p{ if (NR>1) print p, s; p=$1; s=0} {s+=$2} END{print p, s}' file
1486113768 9936
1486113769 6160736
1486113770 5122176
1486113772 4096832
1486113773 9229920
1486113774 8568888上面的输出几乎不使用内存(只有一个字符串和一个整数变量),并将以输入中显示的相同顺序打印输出。
我强烈建议您阅读Arnold的“有效的Awk编程,第5版”一书,如果您打算使用awk,那么您可以学习如何编写自己的脚本,以及(在学习中),这样您就可以很好地理解其他人的脚本,从而能够很好地理解其他人编写的脚本,只要有两个脚本产生了一些特定的示例输入,就会产生预期的输出。
发布于 2018-04-26 08:50:41
如果数据集没事的话
$ datamash -t' ' -g 1 sum 2 < ip.txt
1486113768 9936
1486113769 6160736
1486113770 5122176
1486113772 4096832
1486113773 9229920
1486113774 8568888-t' '将空间设置为字段分隔符-g 1群sum 2和第二场值datamash -st' ' -g 1 sum 2,其中-s选项负责排序。https://stackoverflow.com/questions/42024296
复制相似问题