问如何使用aws爬虫在数据目录表中只加载元数据
EN

Stack Overflow用户

提问于 2022-11-16 03:35:05

回答 1查看 27关注 0票数 0

我创建了AWS爬虫来读取s3 (csv)中的数据，并将输出配置作为目录表。当我运行爬虫时，我可以看到从csv文件中填充到目录表中的数据和元数据。

是否有方法只将元数据信息填充到目录表中？请告知，因为我是新来的AWS世界

回答已采纳

发布于 2022-11-16 09:53:12

AWS Glue Data Catalog 不保存目录表中的任何数据。它是一个描述数据的持久技术元数据存储。

这意味着当您抓取数据并在data中创建表时，它描述了爬行数据(显示列数据类型、位置、数据格式、压缩类型(如果有的话)、分区键等)。

在这些表中看到的信息是(爬行表的元数据)。为了访问爬行的数据，你可以用雅典娜使用Glue数据目录来存储和检索亚马逊S3数据的表元数据。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/74454827

复制

相似问题

问如何使用aws爬虫在数据目录表中只加载元数据EN