对比文件内容

苦咖啡

发布于 2018-07-04 08:52:57

1.4K0

需求从A文件当中查找不存在B文件当中的内容

方案1、

diff -B a.txt b.txt |awk '/</{print $2}'

#如果文件过大diff会超出内存就没法玩了~

方案2、

sort a.txt b.txt b.txt | uniq -u > c.txt
#排序并去重

方案3、

awk '{if(ARGIND==1) {val[$0]}else{if($0 in val)  delete val[$0]}}END{for(i in val) print i}'  a.txt b.txt > c.txt

其他命令参考：

#拆分文件
split -l 5000000 -d -a 3 c.txt
将c.txt按照每个文件500w行拆分，后缀是数字，并且后缀长度是3

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2018年5月16日，如有侵权请联系 cloudcommunity@tencent.com 删除