首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >awk/sed删除重复项并合并置换列

问awk/sed删除重复项并合并置换列
EN

Stack Overflow用户
提问于 2019-05-03 18:17:22
回答 3查看 210关注 0票数 1

我有以下文件:

代码语言:javascript
复制
ABC     MNH     1
UHR     LOI     2    
QWE     LOI     3
MNH     ABC     4
PUQ     LOI     5
MNH     ABC     6
QWE     LOI     7
LOI     UHR     8    

我想删除所有重复项(基于前两列-例如,第6行是第4行的副本)。我还想合并列1和列2被置换的条目(例如,行1和行4)。这意味着这个列表应该会导致:

代码语言:javascript
复制
ABC     MNH     1 4
UHR     LOI     2 8
QWE     LOI     3
PUQ     LOI     5

然而,这个文件很大。大约2-3 TB。这可以用awk/sed来完成吗?

EN

回答 3

Stack Overflow用户

发布于 2019-05-04 00:28:11

我不明白为什么你张贴的是你期望的输出,所以你可能不得不修改它,但我想这是解决问题的正确方法,这样只有“排序”才能在内部处理存储多TB输入(而排序的目的是通过分页等来完成这一点)。虽然awk脚本一次只处理一行,并且只在内存中保留很少的内容:

代码语言:javascript
复制
$ cat tst.sh
#!/bin/env bash

awk '{print ($1>$2 ? $1 OFS $2 : $2 OFS $1), $0}' "$1" |
sort -k1,2 |
awk '
    { curr = $1 OFS $2 }
    prev != curr {
        if ( NR>1 ) {
            print rec
        }
        rec = $0
        sub(/^([^[:space:]]+[[:space:]]+){2}/,"",rec)
        prev = curr
        next
    }
    { rec = rec OFS $NF }
    END { print rec }
'

$ ./tst.sh file
ABC     MNH     1 4 6
PUQ     LOI     5
QWE     LOI     3 7
LOI     UHR     8 2

在下面的评论中与@kvantour讨论之后的另一个实现(对于-s稳定排序需要GNU排序):

代码语言:javascript
复制
$ cat tst.sh
#!/bin/env bash

awk '{print ($1>$2 ? $1 OFS $2 : $2 OFS $1), $0}' "$1" |
sort -s -k1,2 |
awk '
    { curr = $1 OFS $2 }
    prev != curr {
        if ( NR>1 ) {
            print rec
        }
        rec = $0
        sub(/^([^[:space:]]+[[:space:]]+){2}/,"",rec)
        sub(/[[:space:]]+[^[:space:]]+$/,"",rec)
        delete seen
        prev = curr
    }
    !seen[$3,$4]++ { rec = rec OFS $NF }
    END { print rec }
'

$ ./tst.sh file
ABC     MNH 1 4
PUQ     LOI 5
QWE     LOI 3
UHR     LOI 2 8
票数 2
EN

Stack Overflow用户

发布于 2019-05-03 20:37:06

总是有帮助的GNU datmash来拯救你!

代码语言:javascript
复制
$ sort -k1,2 -u input.txt |
   awk -v OFS="\t" '$2 < $1 { tmp = $1; $1 = $2; $2 = tmp } { print $1, $2, $3 }' |
   sort -k1,2 |
   datamash groupby 1,2 collapse 3 |
   tr ',' ' '
ABC MNH 1 4
LOI PUQ 5
LOI QWE 3
LOI UHR 2 8

细分,这是:

  • 根据前两列对输入文件进行排序并删除重复项。
  • 如果第二列小于第一列,则交换这两列(以便MNH ABC 6变为ABC MNH 6),并输出制表符分隔的列(这是datamash通过default).
  • Sorts使用的,以便所有转换的行都是有序的(但这一次让duplicates).
  • Uses datamash为所有重复的前两列生成一行,将以逗号分隔的第三列的值列表作为输出的第三列(如ABC MNH 1,4)
  • Turns将这些逗号放入空格。

大多数内存效率高的解决方案都需要对数据进行排序,虽然sort程序在这方面做得很好,但它仍然会使用一堆临时文件,因此您将需要2-3 to左右的可用磁盘空间。

如果您要用相同的数据做很多事情,那么可能值得对其进行一次排序并重用该文件,而不是每次都对其进行排序,作为管道的第一步:

代码语言:javascript
复制
$ sort -k1,2 -u input.txt > unique_sorted.txt
$ awk ... unique_sorted.txt | ...

如果有足够的副本和足够的RAM,将结果保存在内存中是可行的,那么可以在一次遍历输入文件的过程中删除重复项,然后迭代所有剩余的值对:

代码语言:javascript
复制
#!/usr/bin/perl
use warnings;
use strict;
use feature qw/say/;

my %keys;
while (<>) {
  chomp;
  my ($col1, $col2, $col3) = split ' ';
  $keys{$col1}{$col2} = $col3 unless exists $keys{$col1}{$col2};
}

$, = " ";
while (my ($col1, $sub) = each %keys) {
  while (my ($col2, $col3) = each %$sub) {
    next unless defined $col3;
    if ($col1 lt $col2 && exists $keys{$col2}{$col1}) {
      $col3 .= " $keys{$col2}{$col1}";
      $keys{$col2}{$col1} = undef;
    } elsif ($col2 lt $col1 && exists $keys{$col2}{$col1}) {
      next;
    }
    say $col1, $col2, $col3;
  }
}

为了提高效率,这会以任意未排序的顺序生成输出。

还有一种使用sqlite的方法(也需要大量额外的空闲磁盘空间,并且列由制表符分隔,而不是任意的空格):

代码语言:javascript
复制
#!/bin/sh

input="$1"

sqlite3 -batch -noheader -list temp.db 2>/dev/null <<EOF 
.separator \t
PRAGMA page_size = 8096; -- Make sure the database can grow big enough
CREATE TABLE data(col1, col2, col3, PRIMARY KEY(col1, col2)) WITHOUT ROWID;
.import "$input" data
SELECT col1, col2, group_concat(col3, ' ')
FROM (
 SELECT col1, col2, col3 FROM data WHERE col1 < col2
 UNION ALL
 SELECT col2, col1, col3 FROM data WHERE col2 < col1 
 )
GROUP BY col1, col2
ORDER BY col1, col2;
EOF

rm -f temp.db
票数 0
EN

Stack Overflow用户

发布于 2019-05-03 23:14:35

如果前两列最多只有3个字符,则前两列有26^6种可能的组合。这很容易用awk来处理。

代码语言:javascript
复制
{ key1=$1$2; key2=$2$1 }
(key1 in a) { next }                   # duplicate :> skip
(key2 in a) { print $2,$1,a[key2],$3 } # permutation :> print
{ a[key1]=$3 }                         # store value

但是,这将仅打印排列,并且根据请求,最多打印2个元素。因此,在发现置换的情况下,数组a将在数组中同时具有key1和置换后的键key2,否则它将只具有key1。

如果已经打印了排列,则可以使用跟踪的第二个数组来清除此问题。叫它b吧。这样,您可以从a中删除2个元素,同时跟踪b中的一个元素

代码语言:javascript
复制
{ key1=$1$2; key2=$2$1 }
(key1 in b) || (key2 in b) { next }  # permutation printed, is duplicate
(key1 in a)                { next }  # only duplicate, no permutation found
(key2 in a) {                        # permutation found 
              print $2,$1,a[key2],$3 # - print
              delete a[key1]         # - delete keys from a
              delete a[key2]
              b[key1]                # - store key in b
              next                   # - skip the rest
            }
 { a[key1]=$3 }
 END { for (k in a) { print substr(1,3,k),substr(4,3,k),a[k] } }
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/55967789

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档