德鲁伊: org.apache.druid.query.ResourceLimitExceededException

Question

首先，我将两个mysql表插入到kafka中，然后在druid.Now中加载kafka主题。我在druid中有两个数据源，其中一个数据源包含多达6000条记录，另一个数据源包含多达720000条记录。我试图使用druid join查询从两个数据源获取记录，但它显示以下错误：

Resource limit exceeded / Subquery generated results beyond maximum[100000] /
org.apache.druid.query.ResourceLimitExceededException

查询：

SELECT * FROM unsold_all LEFT JOIN unsold_hotel_data ON unsold_all.booking_hotel_code=unsold_hotel_data.hotel_code

有什么解决方案吗？

Answer 1

要重写子查询大小的默认限制，请更改druid.server.http.maxSubqueryRows配置条目。

https://druid.apache.org/docs/latest/configuration/index.html#server-configuration

但是，这样做会影响查询的性能，不推荐这样做。

考虑适当地使用筛选器来减少子查询中的行数。(1)添加时间段WHERE子句，而不是查询所有数据；(2)添加GROUP BY生成统计数据，而不是只做SELECT *。

在操作中并不清楚，所以只需检查您是否知道JOIN左右两端的约束，以及是否在Druid中将正确的数据摄取到正确的数据结构中。https://druid.apache.org/docs/latest/querying/datasource.html#join