如何在Python中打开.ndjson文件？

Question

我有一个20 to的.ndjson文件，我想用Python打开它。文件太大了，所以我找到了一种方法，用一个在线工具把它分成50个部分。这就是工具：https://pinetools.com/split-files

现在我得到了一个扩展名为.ndjson.000的文件(我不知道这是什么)

我试图将它作为json或csv文件打开，以便在pandas中读取它，但它不起作用。你知道怎么解决这个问题吗？

import json
import pandas as pd

第一种方法：

df = pd.read_json('dump.ndjson.000', lines=True)

错误：ValueError: Unmatched ''"' when when decoding 'string'

第二种方法：

with open('dump.ndjson.000', 'r') as f:

     my_data = f.read() 

print(my_data)

错误：json.decoder.JSONDecodeError: Unterminated string starting at: line 1 column 104925061 (char 104925060)

我想问题是我的文件中有一些表情符号，所以我不知道如何编码它们？

Answer 1

我认为pandas.read_json无法正确处理ndjson。

根据这个issue，你可以做某事。就像这样读一读。

import ujson as json
import pandas as pd

records = map(json.loads, open('/path/to/records.ndjson'))
df = pd.DataFrame.from_records(records)

附言:这段代码的所有积分都来自Github问题的KristianHolsheimer

Answer 2

现在，开箱即用参数lines=True支持ndjson

import pandas as pd

df = pd.read_json('/path/to/records.ndjson', lines=True)
df.to_json('/path/to/export.ndjson', lines=True)