我使用的是Hive版本1.2.1。如果我运行选择count(*) from mytable,我看到它会启动一个Tez作业。因此很明显,它没有使用任何表统计信息,因为理想情况下,应该从存储在Hive中的表统计信息中获取行数。此外,我还显式地检查了Hive中的所有表,并且没有在其中找到任何表名,这意味着它存储表统计信息。我看到的下一个最好的相关表是TAB_COL_STATS,但是这个表只存储列级统计信息,而且它也只有极少数的行数,该表有10行。这就提出了两个问题。
TAB_COL_STATS存储所有东西,为什么像num_rows这样的列不属于这个表模式?我看到了max、min、avg、num_distinct等类型的列。。
发布于 2020-01-07 05:22:45
statistics.
PARTITION_PARAMS.TABLE_PARAMS中找到有关num行的信息,应将hive.compute.query.using.stats设置为true,以便预先为select count(*)....But之类的查询使用元数据,确保这些统计数据实际上不是exists.If,运行analyze table mytable compute statistics来收集数据,您可以将hive.stats.autogather设置为true,以便在将数据插入表时强制进行收集。https://stackoverflow.com/questions/59619593
复制相似问题