我需要删除文件中出现多次的所有行。
示例:
Line1
Line2
Line3
Line2结果:
Line1
Line3Python、Perl或unix-util无关紧要。谢谢。
发布于 2013-05-01 01:59:14
保留顺序,但在内存中保留文件的两个副本:
my @lines;
my %seen;
while (<>) {
push @lines, $_;
++$seen{$_};
}
for (@lines) {
print if $seen{$_} == 1;
}作为一行程序:
perl -ne'push @l, $_; ++$s{$_}; }{ for (@l) { print if $s{$_} == 1; }'不保留顺序,但只在内存中保留文件的一个副本:
my %seen;
++$seen{$_} while <>;
while (my ($k, $v) = each(%seen)) {
print $k if $v == 1;
}作为一行程序:
perl -ne'++$s{$_}; }{ while (my ($k, $v) = each(%s)) { print $k if $v == 1; }'发布于 2013-05-01 01:08:06
这是一个Python实现。
如果需要保留行的初始顺序,请执行以下操作:
import collections
import fileinput
lines = list(fileinput.input())
counts = collections.Counter(lines)
print(''.join(line for line in lines if counts[line] == 1))如果不是,它会更简单、更快):
import collections
import fileinput
counts = collections.Counter(fileinput.input())
print(''.join(line for line, count in counts.iteritems() if count==1))对于每一行,您需要查看它是否有任何副本。如果您不想平方地执行此操作(执行一遍,然后每行执行第二遍),则需要使用中间数据结构,该结构允许您在两个线性遍中执行此操作。
因此,您可以遍历该列表以构建一个哈希表(collections.Counter是一个专门的dict,它只是将每个键映射到它出现的次数)。然后,您可以对列表进行第二次遍历,在哈希表(第一个版本)中查找每个哈希表,或者只迭代哈希表(第二个版本)。
据我所知,命令行工具无法做到这一点;您至少必须对输入进行对数运算(它是O(N sort N),而不是O(N)),或者使用一个隐式执行相同操作的工具。
但对于许多用例来说,这并不是什么大问题。对于一个有1M行的80MB文件,N log N只比N慢一个数量级,并且完全可以想象,两个工具之间的常数乘数差将在同一数量级上。
一个快速的计时测试验证了,在1M行的规模上,sort | uniq -u版本的速度只是6倍多一点,但仍然足够快,以至于您可能不会在意(不到10秒,这比复制和粘贴Python代码所需的时间更长,对吧?)除非您必须重复执行此操作。
根据进一步的测试,在128K行的情况下,Python版本的速度只快4倍;在64M行的情况下,它的速度要快28倍;在5G行的情况下,…这两个版本都会使系统陷入严重的交换颠簸,以至于我终止了测试。(用dbm键值数据库替换Counter解决了这个问题,但对于较小的规模,代价是巨大的。)
发布于 2013-05-01 01:13:33
*nix命令uniq可以做到这一点。
sort file.name | uniq -uhttps://stackoverflow.com/questions/16305322
复制相似问题