首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >删除重复行(包括重复行)

问删除重复行(包括重复行)
EN

Stack Overflow用户
提问于 2013-05-01 01:04:36
回答 6查看 228关注 0票数 0

我需要删除文件中出现多次的所有行。

示例:

代码语言:javascript
复制
Line1
Line2
Line3
Line2

结果:

代码语言:javascript
复制
Line1
Line3

Python、Perl或unix-util无关紧要。谢谢。

EN

回答 6

Stack Overflow用户

发布于 2013-05-01 01:59:14

保留顺序,但在内存中保留文件的两个副本:

代码语言:javascript
复制
my @lines;
my %seen;
while (<>) {
   push @lines, $_;
   ++$seen{$_};
}

for (@lines) {
   print if $seen{$_} == 1;
}

作为一行程序:

代码语言:javascript
复制
perl -ne'push @l, $_; ++$s{$_}; }{ for (@l) { print if $s{$_} == 1; }'

不保留顺序,但只在内存中保留文件的一个副本:

代码语言:javascript
复制
my %seen;
++$seen{$_} while <>;

while (my ($k, $v) = each(%seen)) {
   print $k if $v == 1;
}

作为一行程序:

代码语言:javascript
复制
perl -ne'++$s{$_}; }{ while (my ($k, $v) = each(%s)) { print $k if $v == 1; }'
票数 4
EN

Stack Overflow用户

发布于 2013-05-01 01:08:06

这是一个Python实现。

如果需要保留行的初始顺序,请执行以下操作:

代码语言:javascript
复制
import collections
import fileinput

lines = list(fileinput.input())
counts = collections.Counter(lines)
print(''.join(line for line in lines if counts[line] == 1))

如果不是,它会更简单、更快):

代码语言:javascript
复制
import collections
import fileinput

counts = collections.Counter(fileinput.input())
print(''.join(line for line, count in counts.iteritems() if count==1))

对于每一行,您需要查看它是否有任何副本。如果您不想平方地执行此操作(执行一遍,然后每行执行第二遍),则需要使用中间数据结构,该结构允许您在两个线性遍中执行此操作。

因此,您可以遍历该列表以构建一个哈希表(collections.Counter是一个专门的dict,它只是将每个键映射到它出现的次数)。然后,您可以对列表进行第二次遍历,在哈希表(第一个版本)中查找每个哈希表,或者只迭代哈希表(第二个版本)。

据我所知,命令行工具无法做到这一点;您至少必须对输入进行对数运算(它是O(N sort N),而不是O(N)),或者使用一个隐式执行相同操作的工具。

但对于许多用例来说,这并不是什么大问题。对于一个有1M行的80MB文件,N log N只比N慢一个数量级,并且完全可以想象,两个工具之间的常数乘数差将在同一数量级上。

一个快速的计时测试验证了,在1M行的规模上,sort | uniq -u版本的速度只是6倍多一点,但仍然足够快,以至于您可能不会在意(不到10秒,这比复制和粘贴Python代码所需的时间更长,对吧?)除非您必须重复执行此操作。

根据进一步的测试,在128K行的情况下,Python版本的速度只快4倍;在64M行的情况下,它的速度要快28倍;在5G行的情况下,…这两个版本都会使系统陷入严重的交换颠簸,以至于我终止了测试。(用dbm键值数据库替换Counter解决了这个问题,但对于较小的规模,代价是巨大的。)

票数 2
EN

Stack Overflow用户

发布于 2013-05-01 01:13:33

*nix命令uniq可以做到这一点。

代码语言:javascript
复制
sort file.name | uniq -u
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/16305322

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档