如何处理python抓取网站时的动态cookie？

Question

我是Python的初学者。我试着从我的www.Alibaba.com控制台上抓取一些产品信息。当我来到访问者详细信息页面时，我发现每次单击搜索按钮时cookie都会发生变化。我发现每个请求的cookie都会发生变化。我不能像从其他页面抓取数据那样抓取数据，这些页面的cookie在一定时间内是固定的。

在比较cookie数据后，我发现这里只有3个键值对发生了变化。我认为这3个值导致我无法抓取数据。所以我想知道如何处理这种情况。

Answer 1

对于python3，标准库中的http.client可以配置为使用http.cookiejar CookieJar，它将自动跟踪客户端中的cookie。

您可以这样设置：

import http.cookiejar, urllib.request
cj = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
r = opener.open("http://example.com/")

如果您使用的是pyhton2，那么类似的方法也适用于urllib

import urllib2
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor())
r = opener.open("http://example.com/")