MainThread: Vaex:打开Azure文件时出错

Question

我尝试使用SAS (在URL中嵌入了日期限制和令牌)使用vaex打开Azure数据湖gen 2存储上的一块地板，方法如下：

vaex.open(sas_url)

我得到了错误

错误:MainThread:vaex:错误打开也是sas_url的路径(出于安全原因不能发布它) ValueError:不知道如何打开(不能公开sas url)，也不知道https的处理程序

我怎样才能让vaex读取文件，或者是否有另一个可以更好地使用vaex的天蓝色存储库？

Answer 1

Vaex无法使用https源读取数据，这就是您获得错误的原因--“不知道https的处理程序”。

此外，根据文档，vaex支持从S3存储和S3云存储中输入数据。

云支持： 亚马逊网络服务S3 谷歌云存储 其他云存储选项

他们提到，其他云存储也是受支持的，但在任何地方都没有支持文档，并且没有从Azure存储帐户(也使用SAS )获取数据的示例。

此外，请访问用于vaex库的API文档获得更多信息。

Answer 2

我终于找到解决办法了！Vaex可以读取Azure blob存储中的文件，如下所示：

import vaex
import adlfs

storage_account = "..."
account_key = "..."
container = "..."
object_path = "..."

fs = adlfs.AzureBlobFileSystem(account_name=storage_account, account_key=account_key)
df = vaex.open(f"abfs://{container}/{object_path}", fs=fs)

有关更多细节，我在https://github.com/vaexio/vaex/issues/1272中找到了解决方案