首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >我的API用beautifulSoup4和python解析数据太慢了

问我的API用beautifulSoup4和python解析数据太慢了
EN

Stack Overflow用户
提问于 2018-05-13 02:15:11
回答 1查看 78关注 0票数 0

我使用API解析每个帐户的GITHUB贡献数据,并按月、周或日排列,并使用JSON进行装饰。

响应一个请求大约需要2秒。(1800毫秒)

链接到我的GitHub存储库。

存储库中的contributions.py是完成上述任务的python代码。

问题是:是什么使我的API变慢了?

数据太多而无法解析(大约365)?api生成JSON字符串的方式?

谢谢你提前回答和帮助我。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-05-13 03:06:13

“为什么我的代码太慢了?”是个很难回答的问题。基本上,有无限的可能原因。我可能无法回答这个问题,但我可以提供一些建议,希望能帮助你自己回答这个问题。

有很多问题要问..。你用的是什么样的硬件?你有什么样的网络/互联网连接?是第一个请求慢了,还是所有请求都慢了?对一种类型的请求(每天、每周、每月)的呼叫是慢的还是全部?等等

您正在指示总的请求时间为1800 as,但正如您所指出的,在处理该请求期间发生了许多事情。在我的经验中,通常最好的方法之一是添加一些计时代码,以缩小慢度的范围。

例如,一种快速而肮脏的方法是使用python时间模块。我很快将一些代码添加到每周投稿方法中:

代码语言:javascript
复制
  import time

  # [...]

  @app.route("/contributions/weekly/<uname>")
  def contributionsWeekly(uname):
    before = time.time()
    rects = getContributionsElement(uname)
    after = time.time()
    timeToGetContribs = after - before

  # [...]

  print(' timeToGetContribs: ' + str(timeToGetContribs))
  print('timeToIterateRects: ' + str(timeToIterateRects))
  print('   timeToBuildJson: ' + str(timeToBuildJson))

在本地运行此代码将产生以下结果:

代码语言:javascript
复制
 timeToGetContribs: 0.8678717613220215
timeToIterateRects: 0.011543750762939453
   timeToBuildJson: 1.5020370483398438e-05

(请注意上次结束时的e-05 .很短的时间)。

从这些结果中,我们知道得到捐款的时间占全部请求的大多数。现在我们可以深入研究这个方法,试图进一步分离出最耗时的部分。下一组结果显示:

代码语言:javascript
复制
        timeToOpenUrl: 0.5734567642211914
timeToInstantiateSoup: 0.3690469264984131
      timeToFindRects: 0.0023255348205566406

由此可以看出,大部分时间实际上都花在打开URL和检索HTML上(这意味着网络延迟、互联网连接速度、GitHub服务器响应时间等可能是可疑的)。其次是实例化BeautifulSoup解析器所需的实际时间。

把所有这些具体的数字都拿去一粒盐。这些都是在我的硬件(12岁的PC)和我的本地互联网连接。在您的系统中,数字可能会有所不同,甚至可能会有很大的不同。关键是,跟踪慢度的最好方法是通过一些基本的故障排除步骤,以确定慢度在哪里发生,。在您确定了问题区域之后,您可以在中搜索更具体的答案,或者询问更有针对性的问题。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/50312172

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档