首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何从databricks集群下载已安装的dbfs jar文件到本地机器?

如何从databricks集群下载已安装的dbfs jar文件到本地机器?
EN

Stack Overflow用户
提问于 2020-09-01 12:17:13
回答 1查看 3K关注 0票数 4

我是Databricks新手,我希望将databricks集群的已安装库下载到我的本地机器上。你能帮我一下吗?

因此,为了详细说明,我已经有一个正在运行的集群,其中已经安装了库。我需要将其中一些库(即dbfs文件)下载到我的本地机器上。实际上,我一直试图通过databricks-cli使用“dbfs”命令,但这是行不通的。它没有给出任何错误,但它也没有做任何事情。我希望这能把事情弄清楚一点。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-09-18 12:22:43

注意:当您通过JarsMavenPyPI安装库时,这些库位于folderpath dbfs:/FileStore中。

  • 对于位于- dbfs:/FileStore/jars的交互式集群Jars
  • 对于位于- dbfs:/FileStore/job-jars的自动集群Jars

有两种方法可以将已安装的dbfs文件从databricks集群下载到本地机器.

GUI方法:您可以使用DBFS

创建DBFS资源管理器是为了快速地将文件上载并下载到Databricks文件系统(DBFS)。这将同时适用于AWS和Azure数据库实例。

为了连接,您需要在web接口中创建一个承载令牌。

Step1:从这里下载DBFS资源管理器:https://datathirst.net/projects/dbfs-explorer并安装。

Step2:如何创建一个承载令牌?

  • 单击Databricks工作区右上角的用户配置文件图标用户配置文件。
  • 单击用户设置。
  • 转到访问令牌选项卡。
  • 单击Generate 按钮。

注释:复制生成的令牌并存储在一个安全的位置。

Step3:为数据库打开DBFS资源管理器,输入Host URLBearer Token并继续。

Step4:导航到名为FileStore => jars =>的DBFS文件夹,选择要下载的jar,然后单击download并选择本地机器上的文件夹。

CLI方法:您可以使用Databricks

Step1:安装数据库CLI,使用Databricks凭据对其进行配置。

Step2:使用CLI "dbfs“命令将文件复制到DBFS。

语法: dbfs cp <SOURCE> <DESTINATION>

示例: dbfs cp "dbfs:/FileStore/azure.txt" "C:\Users\Name\Downloads\"

票数 4
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/63687498

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档