熊猫json_normalize KeyError

Question

我有一个嵌套的json文件，它没有统一的结构，如下所示：

[{ "name": "Jon", "last": "Jonny"}, 
 {"name": "Jimmy", "last": "johnson", "kids":[{"kidName":"johnson_junior","kidAge": "1"}, {"kidName":"johnson_junior2", "kidAge": "4"}]}]

请注意，在第二项中，有第一项中不存在的列表名“子”。

当我试图用熊猫json_normalize把json弄平时，它会发出错误信息："KeyError：‘孩子’。“

这是json_normalize命令：

flat_json = json_normalize(json_file, record_path= 'kids',  errors='ignore')

json_normalize似乎不支持没有统一结构的嵌套json。

有人经历过同样的问题吗？你对如何度过难关有什么想法吗？

Answer 1

如果没有太大的麻烦，我会在密钥不存在的时候添加'kids':[{'kidName':None,'kidAge':None}]。

errors='ignore'用于meta中列出的键(参见多古)，而使用kids指定的是记录路径。

我不知道您是否在征求一般性建议，比如“如果记录路径键有时不可用会发生什么情况？”，但万一您提供的数据示例是您当前的问题，这就是我建议的快速修复。

像这样的东西起作用了：

data = {"name": "Jimmy", "last": "johnson", "kids":[{"kidName":"johnson_junior","kidAge": "1"}, {"kidName":"johnson_junior2", "kidAge": "4"}]}]

# then you inform with empty kids if looping doesn't alter your desired flow that much
[elem.update({'kids':[{'kidName':None,'kidAge':None}]}) for elem in data if 'kids' not in elem.keys()]

# finally you normalize
flat_json = json_normalize(data,'kids', ['name','last'])

产出：

kidAge          kidName   name     last
0   None             None    Jon    Jonny
1      1   johnson_junior  Jimmy  johnson
2      4  johnson_junior2  Jimmy  johnson