从Alluxio读取超时时间

Question

我在Alluxio上执行Presto查询时遇到了这个错误。这个超时意味着什么，我怎样才能解决它？

com.facebook.presto.spi.PrestoException:使用org.apache.hadoop.mapred.TextInputFormat: Timeout从id: 0x23615709、L:/xxxxx:34740 - R:xxxxx/xxxxx:29999读取39963328512时，打开蜂巢拆分冲积件:19998/s3/data/m-00020 (offset=134217728，length=67108864)

Answer 1

当Alluxio花费太长时间(通过alluxio.user.network.netty.timeout进行配置)无法向客户端提供数据时，您将收到此错误。

一个简单的解决方法是增加超时。

然而，这通常是工人在某种程度上超载的症状。要在您的设置中签入的常见事项：

1. Alluxio worker负载，如果您的计算同时处于同一位置，并且没有资源管理，则可能会出现问题。
2. Alluxio工作人员要在文件系统下加载/带宽，这往往是远程存储对象存储的瓶颈。

如果这些是瓶颈，则可以尝试减少集群中的并发性或增加节点数。