我正在S3上的一个拼花文件上创建一个外部Hive表。这些命令看起来就像
CREATE EXTERNAL TABLE userinfo(
user_id string,
last_name string,
first_name string
)
PARTITIONED BY (
yr string,
mo string)
ROW FORMAT SERDE
'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT
'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION
's3://mybucket/basedir/'
TBLPROPERTIES (
'serialization.null.format'='');
alter table userinfo add IF NOT EXISTS partition (yr='2021', mo='07');此时,如果运行“从userinfo选择计数(*)”,结果是0。但如果我跑了
ANALYZE TABLE userinfo PARTITION(yr='2021', mo='07') COMPUTE STATISTICS;并重新运行“选择计数(*).”我得到了预期的行数。
这不是一个停止表演,但它让我觉得我在做什么/没有做一些事情,导致这种奇怪的行为。任何见解都是欢迎的。
发布于 2021-07-20 17:19:26
您没有告诉优化器表的统计信息,所以它显示0,因为它不知道表中的任何数据。
理想情况下,无论何时将数据加载到表/分区中,都应该收集统计信息。陈旧的统计信息或无统计信息将使优化器不断思考/猜测,从而使查询运行时间更长/消耗更多内存,有时还会返回错误的值。
现在,您可以在蜂箱中设置这个属性,用于自动统计数据收集-
hive.stats.autogather=true或者,您可以在加载数据后立即手动收集它们。
ANALYZE TABLE tab COMPUTE STATISTICS;https://stackoverflow.com/questions/68457718
复制相似问题