为什么SQLAlchemy计数()比原始查询慢得多？

Question

我使用SQLAlchemy和一个MySQL数据库，我想在一个表中计数行(大约300 K)。SQLAlchemy 计数函数运行的时间是直接在MySQL中写入相同查询的时间的50倍。我做错了什么吗？

# this takes over 3 seconds to return
session.query(Segment).count()

然而：

SELECT COUNT(*) FROM segments;
+----------+
| COUNT(*) |
+----------+
|   281992 |
+----------+
1 row in set (0.07 sec)

速度的差异随着表的大小而增加(在100 K行以下几乎不明显)。

更新

使用session.query(Segment.id).count()而不是session.query(Segment).count()似乎可以做到这一点，并使其达到速度。但是，我仍然很困惑，为什么初始的查询要慢一些。

Answer 1

不幸的是，MySQL对子查询的支持非常糟糕，这对我们产生了非常负面的影响。SQLAlchemy文档指出，可以使用query(func.count(Segment.id))实现“优化”查询。

返回此查询将返回的行数。 这将生成此查询的SQL，如下所示： 选择count(1)作为count_1，从( SELECT )选择anon_1 若要对特定列进行细粒度控制以计数、跳过子查询的使用或FROM子句的其他控件，或使用其他聚合函数，请结合query()使用func表达式，即： 从sqlalchemy导入func #计数用户记录，而不使用子查询。从sqlalchemy导入session.query(func.count(User.id)) #用户"id“按”名称“session.query(func.count(User.id)).\ group_by(User.name)分组的返回计数

Answer 2

原因是SQLAlchemy的count()正在计算子查询的结果，该子查询仍在进行全部工作以检索正在计算的行。这种行为与底层数据库无关；它不是MySQL的问题。

SQLAlchemy 文档解释了如何通过从sqlalchemy导入func来发出不带子查询的计数。

session.query(func.count(User.id)).scalar()

>>>SELECT count(users.id) AS count_1 \nFROM users')

Answer 3

我花了很长时间才找到解决问题的办法。我得到了以下错误：

sqlalchemy.exc.DatabaseError：(mysql.connector.errors.DatabaseError) 126 (HY000)：表‘/tmp/#sql_40ab_0.MYI’的不正确密钥文件；尝试修复它

当我更改以下内容时，问题得到了解决：

query = session.query(rumorClass).filter(rumorClass.exchangeDataState == state)
return query.count()

对此：

query = session.query(func.count(rumorClass.id)).filter(rumorClass.exchangeDataState == state)
return query.scalar()