首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >雅典娜:‘`msck修理表’会引起费用吗?

雅典娜:‘`msck修理表’会引起费用吗?
EN

Stack Overflow用户
提问于 2017-03-16 21:21:30
回答 1查看 2.5K关注 0票数 5

我在S3中有ORC数据,如下所示:

代码语言:javascript
复制
s3://bucket/orc/clientId=client-1/year=2017/month=3/day=16/hour=20/
s3://bucket/orc/clientId=client-2/year=2017/month=3/day=16/hour=21/
s3://bucket/orc/clientId=client-3/year=2017/month=3/day=16/hour=22/

每小时我运行一个EMR作业,它将S3中的原始JSON转换为ORC,并为雅典娜的摄入编写路径分区约定(上面)。在EMR作业完成后,我运行msck repair table,这样雅典娜就可以获得新的分区。

我有三个相关的问题:

  1. 在这种情况下运行msck repair table是否会在AWS中花费我的钱?
  2. AWS医生说 msck repair table可以超时。是否可以在数据管道中迈出一步,继续运行此命令,直到它成功完成为止?
  3. 我更喜欢手动将分区添加到雅典娜(因为我知道我工作的年份、月、日、小时)。但是,我不知道clientId,因为其中可能有1-X,而且我也不知道在运行EMR时存在哪些。是否有最佳实践方法来解决这个问题(使用Hive或其他方法)?我可以进行一个s3 api调用,以获得一个s3://bucket/org/列表,并编写代码来迭代列表并手动添加。我希望有更简单的方法..。

注意:当我说“手动添加分区”时,我的意思是这样做:

代码语言:javascript
复制
ALTER TABLE <athena table> 
ADD PARTITION (clientId='client-1',year=2017,month=3,day=16,hour=20) 
location 's3://bucket/orc/clientId=client-1/year=2017/month=3/day=16/hour=20/';
EN

回答 1

Stack Overflow用户

发布于 2017-03-16 21:31:14

AWS说

DDL查询或分区检测不收费。

AWS说

S3的收费是适用的。

我还不知道如何使msck repair table自动化以确保它完成。

票数 5
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/42845002

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档