我有以下文件:
ABC MNH 1
UHR LOI 2
QWE LOI 3
MNH ABC 4
PUQ LOI 5
MNH ABC 6
QWE LOI 7
LOI UHR 8 我想删除所有重复项(基于前两列-例如,第6行是第4行的副本)。我还想合并列1和列2被置换的条目(例如,行1和行4)。这意味着这个列表应该会导致:
ABC MNH 1 4
UHR LOI 2 8
QWE LOI 3
PUQ LOI 5然而,这个文件很大。大约2-3 TB。这可以用awk/sed来完成吗?
发布于 2019-05-04 00:28:11
我不明白为什么你张贴的是你期望的输出,所以你可能不得不修改它,但我想这是解决问题的正确方法,这样只有“排序”才能在内部处理存储多TB输入(而排序的目的是通过分页等来完成这一点)。虽然awk脚本一次只处理一行,并且只在内存中保留很少的内容:
$ cat tst.sh
#!/bin/env bash
awk '{print ($1>$2 ? $1 OFS $2 : $2 OFS $1), $0}' "$1" |
sort -k1,2 |
awk '
{ curr = $1 OFS $2 }
prev != curr {
if ( NR>1 ) {
print rec
}
rec = $0
sub(/^([^[:space:]]+[[:space:]]+){2}/,"",rec)
prev = curr
next
}
{ rec = rec OFS $NF }
END { print rec }
'
$ ./tst.sh file
ABC MNH 1 4 6
PUQ LOI 5
QWE LOI 3 7
LOI UHR 8 2在下面的评论中与@kvantour讨论之后的另一个实现(对于-s稳定排序需要GNU排序):
$ cat tst.sh
#!/bin/env bash
awk '{print ($1>$2 ? $1 OFS $2 : $2 OFS $1), $0}' "$1" |
sort -s -k1,2 |
awk '
{ curr = $1 OFS $2 }
prev != curr {
if ( NR>1 ) {
print rec
}
rec = $0
sub(/^([^[:space:]]+[[:space:]]+){2}/,"",rec)
sub(/[[:space:]]+[^[:space:]]+$/,"",rec)
delete seen
prev = curr
}
!seen[$3,$4]++ { rec = rec OFS $NF }
END { print rec }
'
$ ./tst.sh file
ABC MNH 1 4
PUQ LOI 5
QWE LOI 3
UHR LOI 2 8发布于 2019-05-03 20:37:06
总是有帮助的GNU datmash来拯救你!
$ sort -k1,2 -u input.txt |
awk -v OFS="\t" '$2 < $1 { tmp = $1; $1 = $2; $2 = tmp } { print $1, $2, $3 }' |
sort -k1,2 |
datamash groupby 1,2 collapse 3 |
tr ',' ' '
ABC MNH 1 4
LOI PUQ 5
LOI QWE 3
LOI UHR 2 8细分,这是:
MNH ABC 6变为ABC MNH 6),并输出制表符分隔的列(这是datamash通过default).datamash为所有重复的前两列生成一行,将以逗号分隔的第三列的值列表作为输出的第三列(如ABC MNH 1,4)大多数内存效率高的解决方案都需要对数据进行排序,虽然sort程序在这方面做得很好,但它仍然会使用一堆临时文件,因此您将需要2-3 to左右的可用磁盘空间。
如果您要用相同的数据做很多事情,那么可能值得对其进行一次排序并重用该文件,而不是每次都对其进行排序,作为管道的第一步:
$ sort -k1,2 -u input.txt > unique_sorted.txt
$ awk ... unique_sorted.txt | ...如果有足够的副本和足够的RAM,将结果保存在内存中是可行的,那么可以在一次遍历输入文件的过程中删除重复项,然后迭代所有剩余的值对:
#!/usr/bin/perl
use warnings;
use strict;
use feature qw/say/;
my %keys;
while (<>) {
chomp;
my ($col1, $col2, $col3) = split ' ';
$keys{$col1}{$col2} = $col3 unless exists $keys{$col1}{$col2};
}
$, = " ";
while (my ($col1, $sub) = each %keys) {
while (my ($col2, $col3) = each %$sub) {
next unless defined $col3;
if ($col1 lt $col2 && exists $keys{$col2}{$col1}) {
$col3 .= " $keys{$col2}{$col1}";
$keys{$col2}{$col1} = undef;
} elsif ($col2 lt $col1 && exists $keys{$col2}{$col1}) {
next;
}
say $col1, $col2, $col3;
}
}为了提高效率,这会以任意未排序的顺序生成输出。
还有一种使用sqlite的方法(也需要大量额外的空闲磁盘空间,并且列由制表符分隔,而不是任意的空格):
#!/bin/sh
input="$1"
sqlite3 -batch -noheader -list temp.db 2>/dev/null <<EOF
.separator \t
PRAGMA page_size = 8096; -- Make sure the database can grow big enough
CREATE TABLE data(col1, col2, col3, PRIMARY KEY(col1, col2)) WITHOUT ROWID;
.import "$input" data
SELECT col1, col2, group_concat(col3, ' ')
FROM (
SELECT col1, col2, col3 FROM data WHERE col1 < col2
UNION ALL
SELECT col2, col1, col3 FROM data WHERE col2 < col1
)
GROUP BY col1, col2
ORDER BY col1, col2;
EOF
rm -f temp.db发布于 2019-05-03 23:14:35
如果前两列最多只有3个字符,则前两列有26^6种可能的组合。这很容易用awk来处理。
{ key1=$1$2; key2=$2$1 }
(key1 in a) { next } # duplicate :> skip
(key2 in a) { print $2,$1,a[key2],$3 } # permutation :> print
{ a[key1]=$3 } # store value但是,这将仅打印排列,并且根据请求,最多打印2个元素。因此,在发现置换的情况下,数组a将在数组中同时具有key1和置换后的键key2,否则它将只具有key1。
如果已经打印了排列,则可以使用跟踪的第二个数组来清除此问题。叫它b吧。这样,您可以从a中删除2个元素,同时跟踪b中的一个元素
{ key1=$1$2; key2=$2$1 }
(key1 in b) || (key2 in b) { next } # permutation printed, is duplicate
(key1 in a) { next } # only duplicate, no permutation found
(key2 in a) { # permutation found
print $2,$1,a[key2],$3 # - print
delete a[key1] # - delete keys from a
delete a[key2]
b[key1] # - store key in b
next # - skip the rest
}
{ a[key1]=$3 }
END { for (k in a) { print substr(1,3,k),substr(4,3,k),a[k] } }https://stackoverflow.com/questions/55967789
复制相似问题