我是Databricks新手,我希望将databricks集群的已安装库下载到我的本地机器上。你能帮我一下吗?
因此,为了详细说明,我已经有一个正在运行的集群,其中已经安装了库。我需要将其中一些库(即dbfs文件)下载到我的本地机器上。实际上,我一直试图通过databricks-cli使用“dbfs”命令,但这是行不通的。它没有给出任何错误,但它也没有做任何事情。我希望这能把事情弄清楚一点。
发布于 2020-09-18 12:22:43
注意:当您通过Jars、Maven、PyPI安装库时,这些库位于folderpath dbfs:/FileStore中。

dbfs:/FileStore/jars的交互式集群Jarsdbfs:/FileStore/job-jars的自动集群Jars有两种方法可以将已安装的dbfs文件从databricks集群下载到本地机器.
GUI方法:您可以使用DBFS
创建DBFS资源管理器是为了快速地将文件上载并下载到Databricks文件系统(DBFS)。这将同时适用于AWS和Azure数据库实例。
为了连接,您需要在web接口中创建一个承载令牌。
Step1:从这里下载DBFS资源管理器:https://datathirst.net/projects/dbfs-explorer并安装。
Step2:如何创建一个承载令牌?
注释:复制生成的令牌并存储在一个安全的位置。

Step3:为数据库打开DBFS资源管理器,输入Host URL和Bearer Token并继续。

Step4:导航到名为FileStore => jars =>的DBFS文件夹,选择要下载的jar,然后单击download并选择本地机器上的文件夹。

CLI方法:您可以使用Databricks
Step1:安装数据库CLI,使用Databricks凭据对其进行配置。
Step2:使用CLI "dbfs“命令将文件复制到DBFS。
语法: dbfs cp <SOURCE> <DESTINATION>
示例: dbfs cp "dbfs:/FileStore/azure.txt" "C:\Users\Name\Downloads\"

https://stackoverflow.com/questions/63687498
复制相似问题