用于流的替代subprocess.Popen.communicate()

Question

如果我使用的是subprocess.Popen，我可以将communicate()用于小的输出。

但是如果子进程要花费大量的时间并产生大量的输出，我想以流数据的形式访问它。

有办法这样做吗？Python文档说

警告:使用communicate()而不是.stdin.write、.stdout.read或.stderr.read来避免由于其他OS管道缓冲区填充和阻塞子进程而导致的死锁。

我非常希望以类似文件的对象的形式访问进程输出：

with someMagicFunction(['path/to/some/command','arg1','arg2','arg3']) as outpipe:
   # pass outpipe into some other function that takes a file-like object

但不知道该怎么做。

Answer 1

communicate是一种方便的方法，可以启动后台线程来读取stdout和stderr。您可以自己阅读stdout，但是您需要弄清楚如何使用stderr。如果您不关心错误，可以添加param stderr=open(os.devnull, 'wb')或文件stderr=open('somefile', 'wb')。或者，创建您自己的后台线程来进行读取。事实证明，shutil已经有了这样一个函数，所以我们可以使用它。

import subprocess
import threading
import shutil
import io

err_buf = io.BytesIO()

proc = subprocess.Popen(['ls', '-l'],
    stdout=subprocess.PIPE, stderr=subprocess.PIPE)
err_thread = threading.Thread(target=shutil.copyfileobj, 
    args=(proc.stderr, err_buf))
err_thread.start()
for line in proc.stdout:
    print(line.decode('utf-8'), end='')
retval = proc.wait()
err_thread.join()
print('error:', err_buf.getvalue())