熊猫自编训练数据

Question

我正在使用pandas-dedupe将带有错误信息的数据链接到另一个具有记录级信息的数据。下面是一个非常简单的示例：

df1 = pd.DataFrame({'a': ['cat', 'dog', 'frog', 'mouse', 'snake'], \
       'info': ['mammal', 'mammal', 'amphibian', 'mammal', 'reptile']})

df2 = pd.DataFrame({'a': ['caat', 'mous', 'dog', 'xfrogg', 'snak', 'xyzgiraff']})

我在csv文件中有单独的培训数据，如下所示：

df3 = pd.DataFrame({'orig': ['caat', 'mous', 'dog'], 'correct':['cat', 'mouse', 'dog']})

如何将df3中的标签作为调用pandas_dedupe.link_dataframes中的培训数据传递？我尝试过阅读dedupe文档，但我不知道如何格式化df3，以便将其作为培训数据传递。

Answer 1

我的建议是用熊猫制作标签，而不是把自己的标签传递给link_dataframes。

熊猫-dedupe将设置和标签分别保存到*_settings和*_training.json文件中。但是，我不鼓励将您的标签添加到文件中，因为您可能会在培训文件和设置文件之间造成不匹配。