首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何从1个文件中删除dupe行,并对照同一文件夹中的所有文件检查每一行是否为其他文件夹?

问如何从1个文件中删除dupe行,并对照同一文件夹中的所有文件检查每一行是否为其他文件夹?
EN

Stack Overflow用户
提问于 2016-08-25 12:18:37
回答 1查看 45关注 0票数 0

有一个硬的,我在一个文件夹中有1/2TB的文本文件。我希望保留文本文件名,而不是合并到1个文件中。

如何浏览文本文件,并将每一行与其他所有文件进行比较?

删除整个目录的所有单词dups。等等直到一切都完成?其中一些文件很大,为38 of。

例如:

textfile1.txt有dupe word power

textfile2.txt还有一个单词power,需要删除等等。

编辑:所有单词都是换行符分隔开的。

直到完成了同一个dir中的所有文件。无论是在linux中还是在win。

EN

回答 1

Stack Overflow用户

发布于 2016-08-25 12:42:13

代码语言:javascript
复制
awk -i inplace '!seen[$0]++' *

上面的GNU awk 4.*用于“就地”编辑。您需要有足够的内存来复制您最大的文件,并在内存中保存所有唯一单词的列表。以上还假设您的“单词”是分隔的换行符,因为您没有告诉我们其他任何事情。

如果您没有足够的内存来复制最大的文件,您可以尝试如下:

代码语言:javascript
复制
for file in *
do
    while [ -s "$file" ]; do
        # copy the first 100 lines from "$file" into tmp
        head -n 100 "$file" > tmp

        # inplace remove the first 100 lines from "$file"
        count=$(head -100 "$file" |wc -c)
        dd if="$file" bs="$count" skip=1 of="$file"
        truncate -s "-$count" "$file"

        # somehow get a subset of words to check in tmp
        awk 'magic happens' tmp >> "${file}.new" &&
        rm -f tmp
    done
done

但你必须弄清楚如何在一次检查一组单词(例如,见下文),这将是缓慢的,小心的步骤,并首先备份你的文件!

如果您可以复制每个文件,但不能同时满足内存中的所有“单词”,那么您可以这样做:

代码语言:javascript
复制
for a in {a..z}
do
   awk -v start="^$a" -i inplace -v IGNORECASE=1 '!($0~start && seen[$0]++)' *
done

要根据某些特性查找单词组,例如,上面查找以a开头的所有单词,然后以b等开头的单词。如果这些批次太大,添加一个内环:

代码语言:javascript
复制
for a in {a..z}
do
   awk -v start="^$a$" -i inplace -v IGNORECASE=1 '!($0~start && seen[$0]++)' *
   for b in {a..z}
   do
       awk -v start="^$a$b" -i inplace -v IGNORECASE=1 '!($0~start && seen[$0]++)' *
   done
done

或者更多(显示不断扩展的regexp模式):

代码语言:javascript
复制
for a in {a..z}
do
   awk -v start="^$a$" -i inplace -v IGNORECASE=1 '!($0~start && seen[$0]++)' *
   for b in {a..z}
   do
       awk -v start="^$a$b$" -i inplace -v IGNORECASE=1 '!($0~start && seen[$0]++)' *
       for c in {a..z}
       do
           awk -v start="^$a$b$c" -i inplace -v IGNORECASE=1 '!($0~start && seen[$0]++)' *
       done
   done
done

嵌套循环越多,一次处理的单词就越少,执行的速度也就越慢。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/39145130

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档