DBFS使用什么s3存储桶？如何获取DBFS路径的S3位置

Question

我正在尝试将我的Hive元数据迁移到Glue。在迁移增量表时，当我提供相同的dbfs路径时，我得到一个错误-“无法创建表:关联的位置不为空。

当我尝试在S3位置创建相同的增量表时，它工作正常。

有没有办法找到数据库所指向的DBFS路径的S3位置？

Answer 1

首先配置Databricks Runtime以使用AWS Glue Data Catalog作为其元数据，然后迁移增量表。

每个Databricks部署都有一个中央Hive元数据存储区，所有集群都可以访问它来持久化表元数据。除了使用Databricks配置单元元存储，您还可以选择使用现有的外部配置单元元存储实例或AWS Glue Catalog。

• External Apache Hive Metastore
• Using AWS Glue Data Catalog as the Metastore for Databricks Runtime

Databricks文件系统(DBFS)是装载到Databricks工作区中的分布式文件系统，可在Databricks群集上使用。DBFS是可扩展对象存储之上的抽象，具有以下优点：

URLs.

• Persists
• 允许您装载存储对象，以便您可以无缝访问数据，而无需使用目录和文件语义(而不是存储)与对象存储进行交互将文件存储到对象存储，因此在终止群集后不会丢失数据。

DBFS有没有办法找到数据库所指向的

路径的S3位置？

您可以通过使用DBFS挂载存储桶或直接使用API来访问亚马逊网络服务S3存储桶。

参考："Databricks - Amazon S3“

希望这能有所帮助。