首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Python脚本运行时需要更长的时间

问Python脚本运行时需要更长的时间
EN

Stack Overflow用户
提问于 2013-06-20 16:51:01
回答 1查看 80关注 0票数 2

我有一个Python脚本,它将一些日志数据导入到一个StringIO对象中,然后逐行读取其中的数据,并将它们输入到一个DB表中。在一些迭代之后,脚本需要相当长的时间。需要说明的是,运行1500个日志需要大约1.6秒,运行3500个日志需要大约1m16秒,然后运行1100个日志需要20秒!

我的脚本如下所示:

代码语言:javascript
复制
for dir in dirlist:
    file = StringIO.StringIO(...output from some system command to get logs...)
    for line in file:
        ctr+=1
        ...
        do some regex matches and replacements
        ...
        cursor.insert(..."insert query"...)
        if ctr >= 1000:
            conn.commit() # commit once every 1000 transactions
EN

回答 1

Stack Overflow用户

发布于 2013-06-20 16:55:25

使用cProfile分析您的脚本,找出实际花费时间的地方。在没有任何细节的情况下,仅仅猜测时间花在哪里通常没有什么帮助。性能分析将告诉您性能问题是与某些正则表达式匹配的内容有关,还是与插入查询有关。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/17209241

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档