fsspec支持虚拟文件系统(如pyfileysystem )吗？

Question

feature系统的主要特性之一是虚拟文件系统。例如。

home_fs = open_fs('~/')
projects_fs = home_fs.opendir('/projects')

我认为这是一个伟大的特点，并希望fsspec有类似的东西。但是我找不到一个例子，我无法让它发挥作用。

Answer 1

您可能需要调用DirFileSystem，如

fs = fsspec.implementations.dirfs.DirFileSystem(
    "<root path>", fs=fsspec.filesystem("file")
)

您可以将其应用于任何文件系统，而不仅仅是本地文件系统。root_path需要是一个字符串，当您将进一步的路径部分附加到它时，它将使目标文件系统能够理解一个完整的路径；它可能包括协议(例如，对于HTTP，它必须这样做)。在您的例子中，它将是"~“(或扩展的版本，这将更加明确)。

或者，您可以使用ReferenceFileSystem创建任意映射的虚拟文件系统。

mapping = {"/key1": ["/local/path/file1"],
           "/key2": ["/other/unrelated/path/file"]}
fs = fsspec.filesystem("reference", fo=mapping)

在这里，fs.cat("/key1")将获得“/local/path/file1 1”的内容。您可以让这些路径是远程的，或者是不同后端的混合，甚至是目标文件的字节范围。