首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何在给定时间戳对象作为分区键的情况下从hive-metastore获取分区路径

如何在给定时间戳对象作为分区键的情况下从hive-metastore获取分区路径
EN

Stack Overflow用户
提问于 2019-08-07 08:23:50
回答 1查看 148关注 0票数 1

在spark中,有没有一种方法可以通过提供Timstamp对象来获取分区路径,而不是以字符串形式提供分区键?

代码语言:javascript
复制
val x = "date='2019-08-06 23:48:32.113'"
spark.sql(s"describe extended hospitaltest partition (${x})")
EN

回答 1

Stack Overflow用户

发布于 2019-08-07 16:03:36

我不知道是否为spark编写了正确的查询,但作为您问题的一部分,下一个查询将从hive stored(存储在mysql中)返回分区的位置:

代码语言:javascript
复制
SELECT 
      location 
    FROM 
      hive.DBS 
    LEFT JOIN hive.TBLS 
    ON 
      ( 
        DBS.DB_ID       = TBLS.DB_ID 
      AND upper(TBLS.tbl_name) = 'CG_CRDSTDLVRS_RAW' 
      ) 
    LEFT JOIN hive.PARTITIONS 
    ON 
      ( 
        TBLS.TBL_ID = PARTITIONS.TBL_ID 
      AND PARTITIONS.PART_NAME LIKE '%2018-09-15%' 
      ) 
    LEFT JOIN hive.SDS 
    ON 
      ( 
        PARTITIONS.SD_ID = SDS.SD_ID 
      ) 
    WHERE 
      upper(DBS.name)='RAW_FAT01'
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/57385496

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档