下载任何文件前检查是否存在冗余。

Question

在实际下载文件之前，是否可以检查是否已经下载了该文件。

我知道-

• 只有当试图获取的文件的文件名与之前检索的文件相同时，惠特才能做到这一点。
• 您可以应用校验和或md5散列查找和删除冗余文件，但只能在下载了该文件之后才能执行。

请建议一种检查文件内容是否相同的方法，然后再完全下载(独立于文件名，它将保存到)。

更准确地说:我只想下载mp3文件，但是从不同的来源下载，比如Jamendo，Soundcloud等等，它们可能有相同的内容(歌曲)，但是会有不同的文件名。

Answer 1

读取第一个文件的前500个字节：

head -c 500 file1.mp3 > fragment1

使用curl -r 0-499 -o fragment2 http://...检索第二个文件的前500个字节。然后，执行diff fragment1 fragment2以查看它们是否相等。

curl是一个像wget这样的工具，只有更多的选项。-r标志允许您指定一个范围，这将导致部分下载。wget有一个配额选项，但是不允许您进行部分下载。