首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Python快速打开文件只需要比较Bytes

Python快速打开文件只需要比较Bytes
EN

Stack Overflow用户
提问于 2014-08-02 19:16:48
回答 2查看 82关注 0票数 1
代码语言:javascript
复制
bytes = "abc123"
with open(file, 'rb') as in:
    info = struct.unpack('<H', in.read(struct.calcsize('<H')))[0]
    info2 = infile.read(info)
    if info2 == SIGNATURE:
        return

如何在for循环~10k文件中快速打开文件--我只需要6-10个第一个字节来验证该文件之前是否加密,如果可能的话跳过它,只打开X字节--这对于每个文件来说都是快速的?

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2014-08-02 19:30:01

正如BrenBarn所言,没有更多的事情要做了。我会将您的脚本更改为:

代码语言:javascript
复制
bytes = "abc123"
read_size = struct.calcsize('<H')
with open(file, 'rb') as infile:
    info, = struct.unpack('<H', infile.read(read_size))
    info2 = infile.read(info)
    if info2 == SIGNATURE:
        return

这些更改很小,而且可能不会对执行时间造成重大影响,因为瓶颈是打开10k文件,但是避免不必要的函数/方法调用总是很好的,并且使用info选择第一个元素比使用稍微快一些。

编辑:刚刚注意到with语句in而不是infile在原始代码中。此外,修正了两个读取调用,以使用正确的变量。

票数 0
EN

Stack Overflow用户

发布于 2014-08-02 19:29:37

这不是Python限制,而是文件系统和操作系统限制。

如果您需要加快操作,那么最好首先将数据收集或索引到数据库中的某些快速访问结构,而不是尝试以原始格式访问数据。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/25098519

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档