胶水从JDBC源在s3中创建Parquet文件。
模式:
col1 col2时间戳
今天的key1再发价
今天的key2再评估2
为今天创建的拼花文件。会受到雅典娜的质疑。
明天,源表(Temp)(即key2值)的更新已经更改,并添加了另外两行。
模式:
col1 col2时间戳
key2将于明天进行再培训
key3将于明天进行再评估
key4将于明天进行再评估
为明天创建新的Parquet文件,只有3行(key2、Key3、Key4)。
如何使用Glue/Athena使用目标表中的时间戳更新key2值。
期望产出:
col1 col2时间戳
key1准价1.今天
key2将于明天进行再评估
key3将于明天进行.
明天key4再发价5.
发布于 2018-03-31 22:51:41
胶只管理架构更改,没有数据更改。
发布于 2018-04-02 18:35:21
胶水从JDBC源在s3中创建Parquet文件。
这些文件是否被导出到目标S3桶中的不同分区(“文件夹”)?
示例:"s3://target-bucket/year=2018/month=4/day=1/files-here“
如果是这样的话,创建并调度Glue爬虫,以便在Glue JDBC提取作业之后周期性地爬行目标S3桶。爬虫将更新雅典娜表的定义,添加所有新分区,并使新数据可查询。
摘要:
第1步)
GLUE JOB -- exports --> S3 BUCKET第二步)
GLUE CRAWLER --> crawls --> S3 BUCKET --> updates --> ATHENA TABLE'S DEFINITION请注意,您不应该更改表的架构(即列名、类型和顺序),因为Glue目前不支持parquet文件来更改数据类型或允许对列进行重新排序。不过,他们已经在努力解决这个问题。如果这是必须拥有的特性,您可以将数据的格式更改为JSON。
https://stackoverflow.com/questions/48410635
复制相似问题