首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >防止AWS glue crawler创建多个表

防止AWS glue crawler创建多个表
EN

Stack Overflow用户
提问于 2018-12-19 18:36:02
回答 1查看 4.1K关注 0票数 2

我创建了一个glue爬虫,它爬行数据并在glue数据目录中创建表。假设我有一个CSV文件(file1.csv),它的模式类似于(idname),一旦爬虫作业执行完毕,它就会创建包含2列(idname)的雅典娜表(crawler_file)。现在有了一个新文件(file2.csv),它的模式类似于(idnameroll_no)。目前,当glue爬虫正在执行时,它正在创建一个新的带有模式(idnameroll_no)的雅典娜表(crawler_file_111)。我是否可以这样配置crawler,使crawler不创建新表,而是更新表的现有架构?在这个场景中,它应该更新现有的雅典娜表(crawler_file),而不是创建一个新的雅典娜表(crawler_file_111)。我能以某种方式实现这个场景吗?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-12-20 00:53:36

在“编辑爬网程序”页中,请启用以下选项。这对你一定很管用。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/53849366

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档