blocks|key|5395383|text|在这种特殊情况下，算法的选择可能并不重要。在MD5上使用SHA1的主要原因都与创建加密安全签名有关。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|5395384|对于这个任务，MD5应该是完全可以接受的，因为你可能不需要担心人们恶意地手工创建文件来生成错误的副本。|5395385|entityMap^0|0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|G|8|@]|9|@]|A|$]]|$1|D|3|-4|5|6|7|H|8|@]|9|@]|A|$]]]|E|$]]

In this particular case, choice of algorithm probably isn't that significant. The key reasons for using SHA1 over MD5 all relate to creating cryptographically secure signatures.

MD5 should be perfectly acceptable for this task, as you probably don't need to worry about people maliciously crafting files to generate false duplicates.

blocks|key|3927589|text|如果你关心性能，我认为首先检查匹配的文件大小会更好，然后使用快速哈希函数(CRC32或MD5，应该比SHA1更快)，并尝试使用MD5、SHA1或SHA256+(取决于任务的关键程度)来查找以这种方式发现的可能重复的文件。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|3927590|entityMap^0|0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]|A|$]]|$1|B|3|-4|5|6|7|E|8|@]|9|@]|A|$]]]|C|$]]

If you care about performances I think it would be better to check for matching file size first, then using a fast hash function (CRC32 or MD5 which should be faster than SHA1) and for possible duplicated files found this way trying with MD5, SHA1 or SHA256 (depending on the criticality of the task).

blocks|key|5395311|text|作为校验和，SHA1比MD5稍好一些。这就是Git所使用的。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|5395312|entityMap^0|0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]|A|$]]|$1|B|3|-4|5|6|7|E|8|@]|9|@]|A|$]]]|C|$]]

SHA1 is slightly better as a checksum than MD5. It is what Git uses.

blocks|key|5395341|text|在这一点上，MD5具有已知的漏洞，但对于您的应用程序来说，这可能不是问题。对于区分成堆的比特，它仍然是相当好的。如果某个东西没有匹配，那么你就知道你还没有看到它，因为算法是确定性的。如果返回的结果是匹配的，则应该将其与表面上匹配的blob进行实际比较，然后才能表现为实际上是重复的。MD5相对较快，但是如果您负担不起关于散列冲突的全文比较，那么您可能应该使用更强的散列，比如SHA-256。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|5395342|entityMap^0|0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]|A|$]]|$1|B|3|-4|5|6|7|E|8|@]|9|@]|A|$]]]|C|$]]

MD5 has known vulnerabilities at this point, but that may not be a problem for your application. It's still reasonably good for distinguishing piles of bits. If something comes up with no match, then you know you haven't already seen it, since the algorithm is deterministic. If something comes back as a match, you should actually compare it to the blob that it ostensibly matched before acting as if it's really a duplicate. MD5 is relatively fast, but if you can't afford full-text comparisons on hash collisions, you should probably use a stronger hash, like SHA-256.

blocks|key|3927559|text|对于描述的目的，没有真正的更好的解决方案，两个散列函数都可以解决问题。无论如何，MD5通常会比SHA1稍微快一点。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|3927560|python中的示例：|3927561|#!/usr/bin/env+python

import+hashlib,+cProfile

def+repeat(f,+loops=10000000):
++++def+wrapper():+
++++++++for+i+in+range(loops):+f()
++++return+wrapper

@repeat
def+test_md5():
++++md5+=+hashlib.md5();+md5.update("hello");+md5.hexdigest()

@repeat+
def+test_sha1():
++++sha+=+hashlib.sha1();+sha.update("hello");+sha.hexdigest()

cProfile.run('test_md5()')
cProfile.run('test_sha1()')

#
#+++++++++40000004+function+calls+in+59.841+CPU+seconds
#+
#+....
#
#+++++++++40000004+function+calls+in+65.346+CPU+seconds
#+
#+....|code-block|syntax|javascript|3927562|entityMap^0|0|0|0^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|L|8|@]|9|@]|A|$]]|$1|D|3|E|5|F|7|M|8|@]|9|@]|A|$G|H]]|$1|I|3|-4|5|6|7|N|8|@]|9|@]|A|$]]]|J|$]]

For the describe purpose there is no real preferable solution, both hash-functions will solve the problem. Anyway, MD5 will usually be slightly faster than SHA1.

Example in python:

<pre><code>#!/usr/bin/env python

import hashlib, cProfile

def repeat(f, loops=10000000):
 def wrapper(): 
 for i in range(loops): f()
 return wrapper

@repeat
def test_md5():
 md5 = hashlib.md5(); md5.update("hello"); md5.hexdigest()

@repeat 
def test_sha1():
 sha = hashlib.sha1(); sha.update("hello"); sha.hexdigest()

cProfile.run('test_md5()')
cProfile.run('test_sha1()')

#
# 40000004 function calls in 59.841 CPU seconds
# 
# ....
#
# 40000004 function calls in 65.346 CPU seconds
# 
# ....
</code></pre>

blocks|key|3927573|text|您正在讨论的是校验和，它与加密散列相关(但不是相同的)。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|3927574|是的，只要你不担心恶意用户故意使用相同的校验和制作两个不同的文件，MD5甚至CRC都可以很好地作为校验和。如果这是一个问题，可以使用SHA1，或者更好的方式，使用一些cryptographically+unbroken散列。|offset|length|3927575|entityMap|0|LINK|mutability|MUTABLE|url|http://www.schneier.com/blog/archives/2005/02/sha1_broken.html^0|0|2B|Q|0|0^^$0|@$1|2|3|4|5|6|7|N|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|O|8|@]|9|@$D|P|E|Q|1|R]]|A|$]]|$1|F|3|-4|5|6|7|S|8|@]|9|@]|A|$]]]|G|$H|$5|I|J|K|A|$L|M]]]]

What you are talking about is a checksum, which is related to (but not the same) as a cryptographic hash. 

Yes, both MD5 and even CRC work just fine as checksums, as long as you are not concerned with a malicious user intentionally crafting two different files with the same checksum. If that is a concern, use SHA1 or, even better, some <a href="http://www.schneier.com/blog/archives/2005/02/sha1_broken.html" rel="nofollow noreferrer">cryptographically unbroken</a> hash.

blocks|key|3927520|text|虽然MD5确实有一些冲突，但我一直使用它来处理文件，它工作得很好。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|3927521|entityMap^0|0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]|A|$]]|$1|B|3|-4|5|6|7|E|8|@]|9|@]|A|$]]]|C|$]]

While MD5 does have a few collisions, I've always used it for files and it's worked just fine.

blocks|key|1407767|text|我们在我的工作中使用了MD5，这正是你所考虑的。效果很好。我们只需要在每个客户的基础上检测重复的上传，这减少了我们对birthday+problem的暴露，但是如果我们必须检测所有上传的重复而不是每个客户的重复，md5仍然足够了。如果你可以相信互联网，在给定n个样本和b的散列大小的情况下，冲突的概率p被限定为：|type|unstyled|depth|inlineStyleRanges|entityRanges|offset|length|data|1407768|p+<=+n+(n+-+1)+/+(2+*+2+%5E+b)|code-block|syntax|javascript|1407769|几年前，我对n=+10%5E9和b=+128进行了计算，得到了p+<=+1.469E-21。为了正确理解这一点，在32年内，10%5E9个文件是每秒一个。因此，我们不会在发生冲突的情况下比较文件。如果md5说上传的内容是一样的，那它们就是一样的。|1407770|entityMap|0|LINK|mutability|MUTABLE|url|http://en.wikipedia.org/wiki/Birthday_problem^0|1M|G|0|0|0|0^^$0|@$1|2|3|4|5|6|7|S|8|@]|9|@$A|T|B|U|1|V]]|C|$]]|$1|D|3|E|5|F|7|W|8|@]|9|@]|C|$G|H]]|$1|I|3|J|5|6|7|X|8|@]|9|@]|C|$]]|$1|K|3|-4|5|6|7|Y|8|@]|9|@]|C|$]]]|L|$M|$5|N|O|P|C|$Q|R]]]]

We use MD5 at my work for exactly what you're considering. Works great. We only need to detect duplicates uploads on a per-customer basis, which reduces our exposure to the <a href="http://en.wikipedia.org/wiki/Birthday_problem" rel="nofollow noreferrer">birthday problem</a>, but md5 would still be sufficient for us if we had to detect duplicates across all uploads rather than per customer. If you can believe the internet, the probability p of a collision given n samples and a hash size of b is bounded by:

<pre><code>p &lt;= n (n - 1) / (2 * 2 ^ b)
</code></pre>

A few years back I ran this calculation for n = 10^9 and b = 128 and came up with p &lt;= 1.469E-21. To put that in perspective, 10^9 files is one per second for 32 years. So we don't compare files in the event of a collision. If md5 says the uploads were the same, they're the same.

Is taking a MD5 sum still suitable for checking for file dupes? I know that it isn't secure, but does that really matter in the case of trying to find file dupes?

Should I be using something in the SHA family instead?

What is best practice in this use case?

What algorithm should be used when doing filechecksums to find dupes?

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

采用MD5求和是否仍然适用于检查文件重复项？我知道它不安全，但在试图找到文件副本的情况下，这真的很重要吗？我应该使用SHA系列中的一些东西来代替吗？此用例中的最佳实践是什么？

问在执行文件校验和以查找副本时，应该使用什么算法？
EN

回答 8

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问在执行文件校验和以查找副本时，应该使用什么算法？EN

回答 8

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问在执行文件校验和以查找副本时，应该使用什么算法？
EN