Python库性能

Question

我遇到的问题是，我有一个Python脚本，每次执行它时都会对数千个图像进行编码，而且它没有占用大部分内存和CPU。

如何提高性能，避免I/O开销？

脚本每次执行时生成5000个缩略图，我想知道是否可以将图像存储在内存中，然后将它们“冲洗”到硬盘上，以提高性能。

你有什么建议来提高我剧本的效果吗？

循环中的代码片段：

im = Image.open(StringIO.StringIO(urllib.urlopen(imagen_url).read()))
im.thumbnail((100, 50), Image.ANTIALIAS)

if im.mode != "RGB":
    im = im.convert("RGB")

im.save(dir + (imagen % coche_id), "JPEG")

大部分时间用于urlopen()，但我认为im.save可以改进。

我仍然从Python开始，我认为您可以帮助我改进我的代码。

非常感谢!

pd:对不起，如果我的英语不太好的话。

Answer 1

您可以通过并发运行几个线程来利用一些i/o并发。这可能在两方面有所帮助：

• More TCP connections ==更快(虽然做一个好的互联网公民有时也很重要)。
• 你现在拥有的程序首先将远程url读入内存，然后处理它，然后保存到磁盘中。CPU没有得到充分利用，因为有些时候您正在等待数据被接收。在此期间，您不需要进行处理。

在这种情况下，GIL不是一个问题，因为它是在i/o操作期间发布的。

如果您希望立即阻止将文件写入磁盘，一种方法可能是关闭当前正在写入的设备上的fsync。

Answer 2

大部分时间用于urlopen()，但我认为im.save可以改进。

这是因为urlopen (或者更确切地说是read)位在网络上执行IO，这将取决于可用的带宽和服务器的带宽而变慢。

所以是的，如果你想在网上下载5000张图片的话，你没什么可以加快速度的。