大查询作业在执行过程中遇到错误

Question

在过去的几个月里，我在BigQuery中每天都在更新这个查询。这是好的-一些偶然的错误，但重新尝试已经解决了问题。

我打赌最近几天我得到了错误:作业在执行过程中遇到了错误。重新尝试这项工作可能会解决问题。

错误描述说这是一个外部错误，那么我如何修复它呢？

我一直在重新尝试(中间有相当长的停顿时间)，但我仍然会遇到错误。JobID示例: bquxjob_152ced5d_169917f0145

有人知道这是怎么回事吗？我是否可能遇到任何数据/时间限制(但为什么只是最近几天)？

Answer 1

您可以使用CGP堆栈驱动程序来使用此BigQuery监视您的URL过程。

您可以找到的有趣信息包括queryTime热图和插槽使用，它们可能帮助您更好地理解您的问题。

​

​

关于外部表的使用问题，您可以使用Google (有关详细信息，请参阅此链接 )来安排从CSV到BigQuery表的重复传输。下面的图像显示了如何从webUI获得传输设置页面

​

​

Answer 2

我在一个预定的查询中遇到了这个可怕的无用错误。它工作得很好，后来有一天它完全停止工作了，从那以后就一直在失败，没有任何其他的解释。StackDriver (现在的“日志资源管理器”)没有显示出更有启发性的东西：

jobStatus: {
  errorResult: {
    code: 14
    message: "Error encountered during execution. Retrying may solve the problem."
    }
    errors: [
      0: {
      code: 14
      message: "Error encountered during execution. Retrying may solve the problem."
    }
  ]
  jobState: "DONE"
}

找出实际问题需要很长时间，因为计划好的查询由于使用批处理优先级而开始得很慢。我在我的例子中发现，计划查询中的分区表和“分区字段”设置是罪魁祸首。我删除了表，删除了分区字段，然后再次运行(尽管由于需要分区，这还远远不够理想)。

我希望这能帮助其他人遇到这个无用的错误，但无论如何，我希望在BigQuery上工作的好人会发现一个更好的错误。

Answer 3

我在替换分区表的内容时遇到了这个问题。两次重审没有帮助。当我从命令中删除--range_partitioning时，更新得到了正确的处理。桌子仍被隔开。

因此，对于分区表的更新似乎存在一个问题，当这是原因时，这些错误可能不会从重试中获益。我不知道是否还有其他原因造成这个错误。