使用pysftp从SFTP读取SHP文件

Question

我正在尝试使用pysftp的getfo()来读取一个shapefile (没有下载)。但是，我得到的输出似乎不可行，我不确定它是否有可能用一个shapefile来实现。

理想情况下，我希望读取文件并将其转换为Geopandas GeoDataFrame。

import pysftp
import io

with pysftp.Connection(host=host, username=user, password=pass) as sftp:
    print("Connection established ... ")

    flo = io.BytesIO()
    sites = sftp.getfo('sites/Sites.shp', flo)
    value=flo.getvalue()

从这里开始，我无法解码这个值，也不知道如何继续下去。

Answer 1

像这样的事情应该可以做到：

flo.seek(0)
df = geopandas.read_file(shp=flo)

虽然使用Connection.getfo不必要地将整个原始文件保存在内存中。更有效的办法是：

with sftp.open('sites/Sites.shp', bufsize=32768) as f:
    df = geopandas.read_file(f)

(关于bufsize=32768__，见)

不过，如果我正确理解它，你需要多个文件。当您通过类似文件的对象提供"shp“时，地质公园不可能神奇地访问远程服务器上的其他相关文件。地球不知道，"shp“是从哪里来的，甚至是它的物理名称。您需要为所有单个文件提供类似文件的对象。参见Using pyshp to read a file-like object from a zipped archive --他们不使用Geopandas，但原理是相同的。

对于Geopandas，底层fiona库似乎处理这个问题，而我没有找到任何相关参数的文档。

我想像这样的事情可能会起作用，但这只是一个疯狂的猜测：

with sftp.open('sites/Sites.shp', bufsize=32768) as shp,
     sftp.open('sites/Sites.shx', bufsize=32768) as shx:
     sftp.open('sites/Sites.dbf', bufsize=32768) as dbf:
     ...
    df = geopandas.read_file(shp, shx=shx, dbf=dbf, ...)

或者切换到shapefile/pyshp module

with sftp.open('sites/Sites.shp', bufsize=32768) as shp,
     sftp.open('sites/Sites.shx', bufsize=32768) as shx:
     sftp.open('sites/Sites.dbf', bufsize=32768) as dbf:
     ...
    r = shapefile.Reader(shp=shp, shx=shx, dbf=dbf)

另一个窍门是将所有文件打包到zip存档中：

Read shapefile from HDFS with geopandas

顺便说一句，请注意，代码无论如何都会下载文件。如果不实际下载远程文件内容，则无法解析远程文件内容。代码只是避免将下载的文件内容存储到(临时)本地文件。