我在亚马逊雅典娜上运行SQL查询。我收到了以下几次错误:
查询该比例因子下耗尽的资源
此查询针对"test1“数据库运行,除非由查询限定。请在我们的论坛上发布错误信息或联系客户支持,查询Id:*
发布于 2020-03-28 23:57:13
在看不到查询的情况下,很难说问题出在哪里,但很可能是由于Athena中的一个内部问题,该问题与大型中间结果集的排序有关。
雅典娜使用的Presto版本不支持对过大而无法放入内存的数据集进行排序。以前聚合也是一样的,但雅典娜团队已经修复了这一点。
当您有非常宽的表时,即许多列或包含大量数据的列时,最常发生此问题。每个单独的行可以表示一大块内存,如果节点在尝试对其块进行排序时耗尽了内存,则查询将中止,并出现"query exhausted resources at this scale factor“错误。
如果这与您的情况相匹配,那么不幸的是,唯一的办法就是限制列数,或者取消排序。有时,您可以重新排列查询,以便在不同的阶段进行排序,以降低排序阶段的内存压力。
发布于 2020-03-09 21:12:38
查看这些提示,并尝试改进您的查询。https://aws.amazon.com/blogs/big-data/top-10-performance-tuning-tips-for-amazon-athena/
此错误表示聚合结果超出了分配的资源。我相信是记忆造成的。
https://stackoverflow.com/questions/45490575
复制相似问题