我们全天每分钟都在从一个特定的网站上检索信息。在一天中的特定时间,网站收到来自其他用户的大量请求,我们无法再访问它以继续检索信息,直到大约10分钟后的某个时间,之后我们的研究才会失效。我们收到诸如500内部服务器错误和503第一字节超时之类的错误。据推测,托管该网站的服务器因其他用户的新请求激增而超载。
我们可以从客户端做些什么来: A.确定到该服务器的连接的优先级,或者B.保持到该服务器的开放连接,以确保我们可以继续接收信息?
我们使用Chrome通过selenium访问该站点,并运行python脚本来检索数据。
发布于 2020-07-12 13:54:03
HTTP1.1或更高版本可以使用长连接,它将发送心跳数据包来保持连接活动。
https://stackoverflow.com/questions/62851062
复制相似问题