首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Glue(爬虫)和athena可以进行更改管理吗?

问Glue(爬虫)和athena可以进行更改管理吗?
EN

Stack Overflow用户
提问于 2018-01-23 20:53:54
回答 2查看 511关注 0票数 0

胶水从JDBC源在s3中创建Parquet文件。

模式:

col1 col2时间戳

今天的key1再发价

今天的key2再评估2

为今天创建的拼花文件。会受到雅典娜的质疑。

明天,源表(Temp)(即key2值)的更新已经更改,并添加了另外两行。

模式:

col1 col2时间戳

key2将于明天进行再培训

key3将于明天进行再评估

key4将于明天进行再评估

为明天创建新的Parquet文件,只有3行(key2、Key3、Key4)。

如何使用Glue/Athena使用目标表中的时间戳更新key2值。

期望产出:

col1 col2时间戳

key1准价1.今天

key2将于明天进行再评估

key3将于明天进行.

明天key4再发价5.

EN

回答 2

Stack Overflow用户

发布于 2018-03-31 22:51:41

胶只管理架构更改,没有数据更改。

票数 2
EN

Stack Overflow用户

发布于 2018-04-02 18:35:21

胶水从JDBC源在s3中创建Parquet文件。

这些文件是否被导出到目标S3桶中的不同分区(“文件夹”)?

示例:"s3://target-bucket/year=2018/month=4/day=1/files-here“

如果是这样的话,创建并调度Glue爬虫,以便在Glue JDBC提取作业之后周期性地爬行目标S3桶。爬虫将更新雅典娜表的定义,添加所有新分区,并使新数据可查询。

摘要:

第1步)

代码语言:javascript
复制
GLUE JOB -- exports --> S3 BUCKET

第二步)

代码语言:javascript
复制
GLUE CRAWLER --> crawls --> S3 BUCKET --> updates --> ATHENA TABLE'S DEFINITION

请注意,您不应该更改表的架构(即列名、类型和顺序),因为Glue目前不支持parquet文件来更改数据类型或允许对列进行重新排序。不过,他们已经在努力解决这个问题。如果这是必须拥有的特性,您可以将数据的格式更改为JSON。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/48410635

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档