如何使用bash删除重复文件

Question

我有一个带有重复文件的文件夹(由md5sum (md5在Mac上))文件，我希望有一个cron作业计划来删除任何找到的文件。

不过，我还是不知道该怎么做。到目前为止我所拥有的是：

md5 -r * | sort

它输出如下内容：

04c5d52b7acdfbecd5f3bdd8a39bf8fb gordondam_en-au11915031300_1366x768.jpg
1e88c6899920d2c192897c886e764fc2 fortbourtange_zh-cn9788197909_1366x768.jpg
266ea304b15bf4a5650f95cf385b16de nebraskasupercell_fr-fr11286079811_1366x768.jpg
324735b755c40d332213899fa545c463 grossescheidegg_en-us10868142387_1366x768.jpg
3993028fcea692328e097de50b26f540 Soyuz Spacecraft Rolled Out For Launch of One Year Crew.png
677bcd6006a305f4601bfb27699403b0 lechaustria_zh-cn7190263094_1366x768.jpg
80d03451b88ec29bff7d48f292a25ce6 ontariosunrise_en-ca10284703762_1366x768.jpg
b6d9d24531bc62d2a26244d24624c4b1 manateeday_row10617199289_1366x768.jpg
ca1486dbdb31ef6af83e5a40809ec561 Grueling Coursework.jpg
cdf26393577ac2a61b6ce85d22daed24 Star trails over Mauna Kea.jpg
dc3ad6658d8f8155c74054991910f39c smoocave_en-au10358472670_1366x768.jpg
dc3ad6658d8f8155c74054991910f39c smoocave_en-au10358472670_1366x7682.jpg

如何基于文件的MD5进行处理以删除重复文件？我并不在乎我保留的是哪个“原创”--但我只想保留一个。

我应该以不同的方式来处理这件事吗？

Answer 1

可以使用以下命令标识重复的文件：

md5sum * | sort -k1 | uniq -w 32 -d

Answer 2

我遇到羽绒服是为了回答类似的问题：https://superuser.com/questions/386199/how-to-remove-duplicated-files-in-a-directory

我能够在Ubuntu上apt-get install fdupes。你一定会想读手册的。在我的例子中，我能够得到如下所需的结果：

fdupes -qdN -r /ops/backup/

上面写着“递归地浏览/ops/backup并找到所有重复的文件:保留任何给定文件的第一个副本，然后悄悄地删除其余的文件。”这使得保存一个不频繁写入数据库的几个转储变得非常容易。

Answer 3

md5sum * | sort -k1 | uniq -w 32 -d | cut -d' ' -f3 | xargs -I{} sh -c 'rm {}'

1. 取所有md5值
2. 对它们进行排序，这样dupe对uniq是连续的。
3. 运行uniq只输出dupes
4. 使用md5值从行中剪切文件名
5. 重复调用文件名的删除