带有Python标准库的requests.get(，stream=True)

Question

根据ps aux，import requests似乎为我正在尝试优化的代码增加了大约4MB的内存。

requests在相应代码中的用法非常基础，我读到“常规”requests.get可以通过标准库实现：

from urllib.request import urlopen

urlopen("www.bla.com").read()

然而，有一种情况是使用了verify=True, stream=True。

这也可以通过Python (3.8)标准库合理地实现吗？

Answer 1

如果您正在为linux目标进行开发，那么也可能调用curl二进制文件。我曾经参与过一个项目，在这个项目中我们使用了python库，但最终调用了linux工具，这是一个经过编译的C二进制文件，因此它的性能明显高于任何python代码。我不能说出curl的确切内存需求，但它可能是一个选择。它是一个非常复杂的工具，能够轻松地执行大量的REST请求。

获取下载网站的示例：

curl -o savedpage.html http://www.example.com/

您可以在python中运行它，如下所示：

import subprocess
out = subprocess.check_output(["curl", "https://www.python.org/"])
print(out)

这可能是一种选择，但值得综合考虑，因为curl可能没有预先安装在目标计算机上。您也可以将curl二进制文件与您的代码一起提供，但这要求目标不变，因为您必须预编译该二进制文件。

因此，这不是最直接的解决方案，另一方面，它可能是一个简单的解决方案。