使用python使用tarfile和urllib从ftp站点打开tarfile

Question

我正在尝试从ftp服务器上的tar文件中下载一个文件。类似于这个Read contents of .tar.gz file from website into a python 3.x object，当我打开tarfile时，我得到一个ReadError (如下所示)

ftpURL = u'ftp://ftpprd.ncep.noaa.gov/pub/data/nccf/com/wave/prod/multi_1.20170201/multi_1.t00z.spec_tar.gz'
ftpstream = urllib.urlopen(ftpURL)
tar = tarfile.open(fileobj=ftpstream, mode='r|bz2')    # here's where i get the error 
Traceback (most recent call last):
  File "C:\Anaconda2\lib\site-packages\IPython\core\interactiveshell.py", line 2885, in run_code
    exec(code_obj, self.user_global_ns, self.user_ns)
  File "<ipython-input-20-c3e97355618c>", line 1, in <module>
    tar = tarfile.open(fileobj=ftpstream, mode='r|bz2')
  File "C:\Anaconda2\lib\tarfile.py", line 1703, in open
    t = cls(name, filemode, stream, **kwargs)
  File "C:\Anaconda2\lib\tarfile.py", line 1587, in __init__
    self.firstmember = self.next()
  File "C:\Anaconda2\lib\tarfile.py", line 2355, in next
    tarinfo = self.tarinfo.fromtarfile(self)
  File "C:\Anaconda2\lib\tarfile.py", line 1251, in fromtarfile
    buf = tarfile.fileobj.read(BLOCKSIZE)
  File "C:\Anaconda2\lib\tarfile.py", line 579, in read
    buf = self._read(size)
  File "C:\Anaconda2\lib\tarfile.py", line 598, in _read
    raise ReadError("invalid compressed data")
ReadError: invalid compressed data

我是不是漏掉了缓冲区大小的东西？如果是这样的话，如果不熟悉缓冲区大小，在哪里可以找到有关所需缓冲区大小的特定信息，那么我必须将缓冲区大小增加一倍和三倍才无效。我也试过几个文件。我可以手动下载这个文件并在我的机器上打开它.任何帮助都非常感谢。

Answer 1

仔细看签名：

tarfile.open(name=None, mode='r', fileobj=None, bufsize=10240, **kwargs)

以及描述：

如果给定的话，fileobj可以是具有read()或write()方法的任何对象(取决于模式)。bufsize指定块大小，默认为20 * 512字节。将此变体与例如sys.stdin、套接字文件对象或磁带设备结合使用。但是，这样的TarFile对象是有限的，因为它不允许随机访问，参见示例。

你想做的是：

tar = tarfile.open(fileobj=ftpstream, mode='r|bz2')