Huggingface数据集ValueError

Question

我试图从huggingface组织中加载数据集，但是我得到了以下错误：

ValueError: Couldn't cast string
-- schema metadata --
pandas: '{"index_columns": [{"kind": "range", "name": null, "start": 0, "' + 686
to
{'text': Value(dtype='string', id=None)}
because column names don't match

我使用了以下代码行来加载数据集：

from datasets import load_dataset
dataset = load_dataset("datasetFile", use_auth_token=True)

请注意dataset version = (2.0.0)，我将其更改为1.18.2，但没有工作。

有办法纠正这个错误吗？

Answer 1

我通过流数据集解决了这个错误。

from datasets import load_dataset
dataset = load_dataset("datasetFile", use_auth_token=True, streaming= True)