首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >查询该比例因子下耗尽的资源

问查询该比例因子下耗尽的资源
EN

Stack Overflow用户
提问于 2017-08-04 01:07:34
回答 2查看 5.2K关注 0票数 10

我在亚马逊雅典娜上运行SQL查询。我收到了以下几次错误:

查询该比例因子下耗尽的资源

此查询针对"test1“数据库运行,除非由查询限定。请在我们的论坛上发布错误信息或联系客户支持,查询Id:*

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2020-03-28 23:57:13

在看不到查询的情况下,很难说问题出在哪里,但很可能是由于Athena中的一个内部问题,该问题与大型中间结果集的排序有关。

雅典娜使用的Presto版本不支持对过大而无法放入内存的数据集进行排序。以前聚合也是一样的,但雅典娜团队已经修复了这一点。

当您有非常宽的表时,即许多列或包含大量数据的列时,最常发生此问题。每个单独的行可以表示一大块内存,如果节点在尝试对其块进行排序时耗尽了内存,则查询将中止,并出现"query exhausted resources at this scale factor“错误。

如果这与您的情况相匹配,那么不幸的是,唯一的办法就是限制列数,或者取消排序。有时,您可以重新排列查询,以便在不同的阶段进行排序,以降低排序阶段的内存压力。

票数 3
EN

Stack Overflow用户

发布于 2020-03-09 21:12:38

查看这些提示,并尝试改进您的查询。https://aws.amazon.com/blogs/big-data/top-10-performance-tuning-tips-for-amazon-athena/

此错误表示聚合结果超出了分配的资源。我相信是记忆造成的。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/45490575

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档