使用Python从cloudflare站点抓取信息？

Question

我在一家营销公司工作，我有几百封电子邮件需要从网页中编辑和分类。我有一点python知识，所以我经常会做一个简单的抓取工具来让工作变得更容易，但cloudflare在源代码中阻止了电子邮件。

我怎么才能绕过它呢？显然，使用这样的自动化工具比手动复制和粘贴所有电子邮件要快得多。下面是我用来测试它的程序：

import requests
import urllib
from bs4 import BeautifulSoup

website = ""
r = requests.get(website)
soup = BeautifulSoup(r.text,'html.parser')

numb = 799

while numb < 800:
    numb += 1
    print(r.status_code)
    print(soup.prettify())

在源代码中，这将替换电子邮件：

<a href="/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="">[email;protected]</a> 

有没有办法在网页上自动复制和粘贴某一行？我在常规浏览器中查看了源代码，它显示了相同的内容。

谢谢你的帮助。

Answer 1

我知道这是一个旧的线程，但这个函数将解码电子邮件字符串：

def cfDecodeEmail(encodedString):
    r = int(encodedString[:2],16)
    email = ''.join([chr(int(encodedString[i:i+2], 16) ^ r) for i in range(2, len(encodedString), 2)])
    return email