将数据加载到

Question

我的问题如下：

假设我有一个json文件，希望加载到大查询中。它包含这两行数据。

{"value":"123"}
{"value": 123 }

我已经为我的数据定义了以下架构。

[
  { "name":"value", "type":"String"}
]

当我试图将json文件加载到大查询中时，如果出现以下错误，它将失败:字段: value :未能将值转换为字符串

除了转换json文件中的数据之外，还有其他方法可以解决这个问题吗？

谢谢!

Answer 1

可以在加载作业上设置maxBadRecords属性以跳过许多错误，但仍然加载数据。

按照您的示例，如果将数据设置为：

"configuration": {
    "load": {
      "maxBadRecords": 1,
     }
}

这是一种解决问题的方法，同时仍然将JSON数据加载到表中，只是会跳过错误的行。如果加载文件列表，则可以将其设置为正在加载的文件数量的函数(例如，maxBadRecords = 20 * fileCount)