我有一个Python脚本,它将一些日志数据导入到一个StringIO对象中,然后逐行读取其中的数据,并将它们输入到一个DB表中。在一些迭代之后,脚本需要相当长的时间。需要说明的是,运行1500个日志需要大约1.6秒,运行3500个日志需要大约1m16秒,然后运行1100个日志需要20秒!
我的脚本如下所示:
for dir in dirlist:
file = StringIO.StringIO(...output from some system command to get logs...)
for line in file:
ctr+=1
...
do some regex matches and replacements
...
cursor.insert(..."insert query"...)
if ctr >= 1000:
conn.commit() # commit once every 1000 transactions发布于 2013-06-20 16:55:25
使用cProfile分析您的脚本,找出实际花费时间的地方。在没有任何细节的情况下,仅仅猜测时间花在哪里通常没有什么帮助。性能分析将告诉您性能问题是与某些正则表达式匹配的内容有关,还是与插入查询有关。
https://stackoverflow.com/questions/17209241
复制相似问题