我正在尝试比较两个文件,每一行都是JSON格式。我需要比较两个文件之间的每一行,应该返回difference.Since,文件太大了,我无法读取和比较每个line.Please,建议我一些优化的方法。
发布于 2013-07-23 13:58:16
有两种可能的方式:
使用Josh发布的评论中提到的技术的
考虑到您有一个大文件,您最好使用第一点中描述的difflib技术。
根据对我以下答案的回答进行编辑
经过一些研究,似乎处理大数据有效负载的最好方法是以流的方式处理此有效负载。通过这种方式,我们确保了数据的快速处理,同时考虑到了内存使用情况和软件的总体性能。
请参考this链接,其中讨论了使用Python流式传输JSON数据对象。类似地,看看ijson --这是一个用Python语言编写的基于迭代器的JSON解析/处理库。
希望这能帮助您找到一个能解决您的用例的合适的库
发布于 2018-10-24 23:05:24
这似乎是一个相当可靠的开始:https://github.com/ZoomerAnalytics/jsondiff
>>> pip install jsondiff
>>> from jsondiff import diff
>>> diff({'a': 1, 'b': 2}, {'b': 3, 'c': 4}, syntax='symmetric')
{insert: {'c': 4}, 'b': [2, 3], delete: {'a': 1}}我还打算在当前的项目中试用它,我会试着在进行过程中保持更新和编辑。
https://stackoverflow.com/questions/17802076
复制相似问题