Google BigQuery错误:缓冲区外(错误代码:无效)

Question

我使用Google Bigquery user-defined functions来扁平和转置日常数据的嵌套字段。

除了一天的数据外，所有的数据处理都很好。当我处理当天的数据时，Google返回以下错误状态(错误由用户定义的函数引发)：

Errors:
script: Out of buffer space (error code: invalid)
Job ID    XXX:XXXXX
Start Time    Mar 21, 2016, 4:39:42 PM
End Time    Mar 21, 2016, 4:39:48 PM
Destination Table    XXX:XXXXX
Write Preference    Append to table
Allow Large Results    true
Flatten Results    false

当天的原始数据大小约为1GB，处理其他日期的数据没有问题，这些数据比当天的数据要大得多。

有人对这个错误有什么想法吗？

Answer 1

我发现了问题：

此错误不是Google BigQuery错误，此错误是从UDF函数引发的JavaScript错误。

我在一些嵌套字段中有非常长的字符串，并且我从这些字段连接字符串，这些长字符串导致了JavaScript out of buffer space错误。

通过过滤出超长的字符串字段，解决了这个问题。