如何使用open废弃phobos网站

Question

我试图用bs4废弃phobos网站，得到418只茶壶错误--这是我的代码....I在使用build_opener.open时会出错

    from urllib.request import urlopen, Request, build_opener
from sockshandler import SocksiPyHandler
import socks
import pandas as pd
import urllib

from bs4 import BeautifulSoup
phobos = "http://phobosxilamwcg75xt22id7aywkzol6q6rfl2flipcqoc4e4ahima5id.onion/search?query=data"
def clear(toclear):
    str = toclear.replace("\n", " ")
    return (' '.join(str.split()))
#headers = {'User-Agent': 'M',}
req = build_opener(SocksiPyHandler(socks.SOCKS5, "127.0.0.1", 9050, True))
res = req.open(phobos).read()
soup = BeautifulSoup(res, 'lxml')
print(soup)
        
        
        
        
#main

HTTPError: HTTP错误418:我是一个茶壶

实际上，它是一个洋葱网站，您只能使用TOR浏览器访问，而不能使用普通浏览器如chrome访问。

我想要废除它的结果，但是它给了我418个茶壶错误。

如果你想知道任何其他信息，请在这里评论一下，我会尽力回答的。

Answer 1

作为一个趣闻/网络好奇，你得到的错误是

HTTP418--我是一个茶壶客户端错误响应代码--表明服务器拒绝煮咖啡，因为它是永久性的茶壶。一个暂时没有咖啡的咖啡/茶壶应该返回503。此错误引用了1998年和2014年愚人节笑话中定义的超文本咖啡壶控制协议。

底线是，一些网站使用这个响应来处理他们不希望处理的请求，比如自动查询。