首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >必须在单元格(*)显示0中运行“”

问必须在单元格(*)显示0中运行“”
EN

Stack Overflow用户
提问于 2021-07-20 15:40:29
回答 1查看 395关注 0票数 1

我正在S3上的一个拼花文件上创建一个外部Hive表。这些命令看起来就像

代码语言:javascript
复制
CREATE EXTERNAL TABLE userinfo(
  user_id string,
  last_name string,
  first_name string
)
PARTITIONED BY (
  yr string,
  mo string)
ROW FORMAT SERDE
  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT
  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION
  's3://mybucket/basedir/'
TBLPROPERTIES (
  'serialization.null.format'='');

alter table userinfo add IF NOT EXISTS partition (yr='2021', mo='07');

此时,如果运行“从userinfo选择计数(*)”,结果是0。但如果我跑了

代码语言:javascript
复制
ANALYZE TABLE userinfo PARTITION(yr='2021', mo='07') COMPUTE STATISTICS;

并重新运行“选择计数(*).”我得到了预期的行数。

这不是一个停止表演,但它让我觉得我在做什么/没有做一些事情,导致这种奇怪的行为。任何见解都是欢迎的。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2021-07-20 17:19:26

您没有告诉优化器表的统计信息,所以它显示0,因为它不知道表中的任何数据。

理想情况下,无论何时将数据加载到表/分区中,都应该收集统计信息。陈旧的统计信息或无统计信息将使优化器不断思考/猜测,从而使查询运行时间更长/消耗更多内存,有时还会返回错误的值。

现在,您可以在蜂箱中设置这个属性,用于自动统计数据收集-

代码语言:javascript
复制
hive.stats.autogather=true

或者,您可以在加载数据后立即手动收集它们。

代码语言:javascript
复制
ANALYZE TABLE tab COMPUTE STATISTICS;
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/68457718

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档