如何避免在pandas数据帧上插入重复的行？

Question

我正在处理熊猫数据帧和mysql，我的表格是与时间序列相关的，比如，

symbol_id  date     close
1          2016-6-1 123
1          2016-6-2 133
1          2016-6-3 143
2          2016-6-1 23
2          2016-6-2 33
2          2016-6-3 43

在将新数据帧断言到表中时，我使用

df.to_sql(name='symbol_test1', con=engine, if_exists = 'replace', index=True)

Answer 1

假设您想要删除重复项，您可以这样做

df.drop_duplicates(subset='symbol_id') 

如果未指定任何子集参数，则默认情况下，它会检查行级重复项。

有保留第一次出现或最后一次出现等选项。请参阅：http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.drop_duplicates.html