将可变结构的JSON加载到Google BigQuery中，重复和可空的问题

Question

我正在尝试将Google JSON文件加载到200k+ BigQuery中。数据集是出纳员数据，在一些交易中使用一张折扣凭证，在一些交易中使用一张以上的凭证，而在其他交易中不使用凭证。因此，一些字段在一个文件中是可重复的，但在另一个文件中为空。

加载时，我得到一个错误：

BigQuery error in load operation: Error processing job
'***': Invalid schema update. Field PromoPtn has changed mode from REPEATED to NULLABLE

如何在BigQuery中处理这个问题？

Answer 1

要加载的输入json文件必须与Bigquery表的架构匹配。

失败的案例：

• json文件中不在BigQuery表中的附加列
• Datatype不匹配
• 必填字段的空值
• 字段名称中的大小写差异

BigQuery允许以下情况：

• json文件具有较少的列(比方说您的表有150列，而文件有120列)。但是，所有120列都必须在Bigquery表中，并且必须与数据类型和模式匹配。

根据我的经验，我建议您理解您的json文件-识别所有可能的列，创建一个将所有字段定义为NULLABLE的通用模式，以便无论结构如何不同，它都允许您加载所有文件。