管理MySQL数据的最快方法是什么？pandas vs fetch_row

Question

我想知道我从MySQL得到的管理数据的常用和更好的方法是什么。

db = MySQLdb.connect(host="####", user="####", passwd="####", db="####", charset='utf8')
db.query(sql)
result = db.use_result()

我使用use_result()是因为数据非常大(大约9000000行)，而我的内存又不多。

在此之后，我通过以下方式处理每行的数据

line = result.fetch_row(maxrows=1, how=1)[0]
#creating objects from lines 

但是我找到了另一种使用pandas DataFrame来管理MySQL数据的方法

df = pd.read_sql_query('SQL QUERY', con= db)

所以问题很简单--哪个更好？

另外，我真的不能在我的廉价笔记本电脑上测试哪个更快，因为这个程序的执行时间在170秒到250秒之间波动。

Answer 1

在较小的数据集上测试它。

如果您不使用非常小的数据集进行测试，性能将是相同的。