绕过云urllib2的urllib2

Question

我写了一个脚本，从一个网站的php文件中抓取数据。我编写了这个脚本，以便只有当页面上的当前数据与上次从页面获取数据时发生变化时，它才会输出数据。该页面确实需要身份验证，这就是我添加PHPSESSID的原因。这将允许页面被查看。已实施Cloudflare

在访问website.com之前检查您的浏览器。

这个过程是自动的。您的浏览器将很快重定向到您请求的内容。请允许最多5秒...

这破坏了我的脚本，它无法从页面获取数据。我查看了cfscrape，但不知道如何将其实现到我当前的脚本中以使其正常工作。如果有人能提供帮助，那就太棒了！我讨厌不得不寻求帮助，但我需要尽快让它发挥作用。

#!/usr/bin/python

from time import sleep
import re
import hashlib
import urllib2
import winsound

def doMd5(data):
    mdo = hashlib.md5()
    mdo.update(data)
    return mdo.hexdigest()

def doRequest():
    try:
        head = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36',
                'Cookie': 'PHPSESSID=ldc1bp9mj7n4ocffvftm25te62'}
        req = urllib2.Request('http://www.example.com/random/random.php', headers=head)
        res = urllib2.urlopen(req)
        data = res.read()
        return data
    except:
        return "exception"

last_log = ""

while True:
    data = doRequest()

    if data == "exception" or data == "":
        print "Exception!"
        continue

    new_hash = doMd5(data)

    if new_hash != last_log:
        print "New Data"
        winsound.Beep(100, 80)

            handler = open('data.html', 'a')
            handler.write(data + '\n')
            handler.close()

            last_log = new_hash
    else:
        sleep(3)
        print "Refreshing..."
        continue

Answer 1

CloudFlare的“检测您的浏览器”页面的目的本质上是为了阻止机器人。

它在这里工作正常。您需要要求网站的所有者对其网站禁用此保护，或者为您创建一个例外。