有一个硬的,我在一个文件夹中有1/2TB的文本文件。我希望保留文本文件名,而不是合并到1个文件中。
如何浏览文本文件,并将每一行与其他所有文件进行比较?
删除整个目录的所有单词dups。等等直到一切都完成?其中一些文件很大,为38 of。
例如:
textfile1.txt有dupe word power
textfile2.txt还有一个单词power,需要删除等等。
编辑:所有单词都是换行符分隔开的。
直到完成了同一个dir中的所有文件。无论是在linux中还是在win。
发布于 2016-08-25 12:42:13
awk -i inplace '!seen[$0]++' *上面的GNU awk 4.*用于“就地”编辑。您需要有足够的内存来复制您最大的文件,并在内存中保存所有唯一单词的列表。以上还假设您的“单词”是分隔的换行符,因为您没有告诉我们其他任何事情。
如果您没有足够的内存来复制最大的文件,您可以尝试如下:
for file in *
do
while [ -s "$file" ]; do
# copy the first 100 lines from "$file" into tmp
head -n 100 "$file" > tmp
# inplace remove the first 100 lines from "$file"
count=$(head -100 "$file" |wc -c)
dd if="$file" bs="$count" skip=1 of="$file"
truncate -s "-$count" "$file"
# somehow get a subset of words to check in tmp
awk 'magic happens' tmp >> "${file}.new" &&
rm -f tmp
done
done但你必须弄清楚如何在一次检查一组单词(例如,见下文),这将是缓慢的,小心的步骤,并首先备份你的文件!
如果您可以复制每个文件,但不能同时满足内存中的所有“单词”,那么您可以这样做:
for a in {a..z}
do
awk -v start="^$a" -i inplace -v IGNORECASE=1 '!($0~start && seen[$0]++)' *
done要根据某些特性查找单词组,例如,上面查找以a开头的所有单词,然后以b等开头的单词。如果这些批次太大,添加一个内环:
for a in {a..z}
do
awk -v start="^$a$" -i inplace -v IGNORECASE=1 '!($0~start && seen[$0]++)' *
for b in {a..z}
do
awk -v start="^$a$b" -i inplace -v IGNORECASE=1 '!($0~start && seen[$0]++)' *
done
done或者更多(显示不断扩展的regexp模式):
for a in {a..z}
do
awk -v start="^$a$" -i inplace -v IGNORECASE=1 '!($0~start && seen[$0]++)' *
for b in {a..z}
do
awk -v start="^$a$b$" -i inplace -v IGNORECASE=1 '!($0~start && seen[$0]++)' *
for c in {a..z}
do
awk -v start="^$a$b$c" -i inplace -v IGNORECASE=1 '!($0~start && seen[$0]++)' *
done
done
done嵌套循环越多,一次处理的单词就越少,执行的速度也就越慢。
https://stackoverflow.com/questions/39145130
复制相似问题