在spark中,有没有一种方法可以通过提供Timstamp对象来获取分区路径,而不是以字符串形式提供分区键?
val x = "date='2019-08-06 23:48:32.113'"
spark.sql(s"describe extended hospitaltest partition (${x})")发布于 2019-08-07 16:03:36
我不知道是否为spark编写了正确的查询,但作为您问题的一部分,下一个查询将从hive stored(存储在mysql中)返回分区的位置:
SELECT
location
FROM
hive.DBS
LEFT JOIN hive.TBLS
ON
(
DBS.DB_ID = TBLS.DB_ID
AND upper(TBLS.tbl_name) = 'CG_CRDSTDLVRS_RAW'
)
LEFT JOIN hive.PARTITIONS
ON
(
TBLS.TBL_ID = PARTITIONS.TBL_ID
AND PARTITIONS.PART_NAME LIKE '%2018-09-15%'
)
LEFT JOIN hive.SDS
ON
(
PARTITIONS.SD_ID = SDS.SD_ID
)
WHERE
upper(DBS.name)='RAW_FAT01'https://stackoverflow.com/questions/57385496
复制相似问题