Linux :删除重复行

Question

我有个txt文件。我想删除所有重复的行。

我试过了，但不起作用

sort -ur file.txt

或

uniq -D -f 2 file.txt

file.txt

34.78.54.21 websrv1 nameweb
34.78.54.21 nameweb

我只需要一句话

Answer 1

根据您的输入，我假设您引用的第一个字段(34.78.54.21)是重复的。如果你只想保持每个数字的第一次出现，那么这对你来说是有效的：

awk '!a[$1]++' file.txt

输出：

34.78.54.21 websrv1 nameweb

此命令将查看$1是否不是数组中的键。如果不是，则会将其添加到数组中，并进行默认打印。对于下一行，$1在数组中，整个结果将计算为false，并且不打印。