按行比较两个文件，并从第一个文件中删除重复项

Question

问题：

1. 需要比较两个文件，
2. 从第一个文件中删除副本
3. 然后将file1的行附加到file2

示例演示

假设这两个文件是test1和test2。

$ cat test2
www.xyz.com/abc-2
www.xyz.com/abc-3
www.xyz.com/abc-4
www.xyz.com/abc-5
www.xyz.com/abc-6

而test1是

$ cat test1
www.xyz.com/abc-1
www.xyz.com/abc-2
www.xyz.com/abc-3
www.xyz.com/abc-4
www.xyz.com/abc-5

比较test1与test2并从测试1中删除重复项

所需结果：

$ cat test1
www.xyz.com/abc-1

然后将这些test1数据添加到test2中

$ cat test2
www.xyz.com/abc-2
www.xyz.com/abc-3
www.xyz.com/abc-4
www.xyz.com/abc-5
www.xyz.com/abc-6
www.xyz.com/abc-1

解决方案尝试：

join -v1 -v2 <(sort test1) <(sort test2)

导致这一结果(这是错误的输出)

$ join -v1 -v2 <(sort test1) <(sort test2)
www.xyz.com/abc-1
www.xyz.com/abc-6

我尝试过的另一个解决方案是：

fgrep -vf test1 test2

结果什么都没有。

Answer 1

用awk：

% awk 'NR == FNR{ a[$0] = 1;next } !a[$0]' test2 test1
www.xyz.com/abc-1

细目：

NR == FNR { # Run for test2 only
  a[$0] = 1 # Store whole line as key in associative array
  next      # Skip next block
}
!a[$0]      # Print line from test1 that are not in a

Answer 2

从test1中删除行，因为它们在test2中：

$ grep -vxFf test2 test1
www.xyz.com/abc-1

若要覆盖test1：

grep -vxFf test2 test1 >test1.tmp && mv test1.tmp test1

将新的test1附加到test2的末尾：

cat test1 >>test2

grep选项

grep通常会打印匹配的线条。-v告诉grep做相反的事情:它只打印不匹配的行。

-x告诉grep做全线匹配.

-F告诉grep我们使用的是固定字符串，而不是正则表达式。

-f test2告诉grep从test2文件读取那些固定的字符串，每行一个。

Answer 3

1和2问题的解决方案。

diff test1 test2 |grep "<"|sed  's/< \+//g' > test1.tmp|mv test1.tmp test1

这是输出

$ cat test1
www.xyz.com/abc-1

三个问题的解决方案。

cat test1 >> test2

这是输出

$ cat test2
www.xyz.com/abc-2
www.xyz.com/abc-3
www.xyz.com/abc-4
www.xyz.com/abc-5
www.xyz.com/abc-6
www.xyz.com/abc-1