使用MechanicalSoup保持登录状态

Question

我试图建立一个网站刮板，以拉从页面的网址。当我在正常的网站上时，刮刀工作得很好，但我想登录，这样我就可以使用网站上的过滤功能。我使用MechanicalSoup登录，登录成功，但是当我使用requests转到页面时，我不再登录。请帮帮我！

下面是我的代码：

from urllib.request import urlopen as uReq
from bs4 import BeautifulSoup as soup
import mechanicalsoup

URL = "https://www.morphmarket.com/us/search?q=&sex=&maturity=0&cat=31&min_genes=0&max_genes=9&traits=&neg_traits=&min_price=0&max_price=1000000&cur=USD&sort=nfs&epoch=2&store=&country=&export=&layout=grid&page=1"
LOGIN = "_______"
PASSWORD = "_______"

browser = mechanicalsoup.StatefulBrowser()
browser.open(URL)
browser.select_form('form[action="/accounts/login/"]')
browser.get_current_form().print_summary()
browser["login"] = LOGIN
browser["password"] = PASSWORD
response = browser.submit_selected()
print(browser.get_url())

snake_urls = []
for i in range(1, 3):
    number = str(i)
    my_url = 'https://www.morphmarket.com/us/search?q=&sex=&maturity=0&cat=31&min_genes=0&max_genes=9&traits=&neg_traits=&min_price=0&max_price=1000000&cur=USD&sort=nfs&epoch=2&store=&country=&export=&layout=grid&page=' + number
    uClient = uReq(my_url)
    page_html = uClient.read()
    uClient.close()
    page_soup = soup(page_html, "html.parser")
    containers = page_soup.findAll("div",{"class":"col-md-3 col-sm-4 col-ms-4 col-xs-6 item-col move-up"})

然后我继续准备我的刮..。

Answer 1

我认为你可以从机械汤开始连接，但是在你使用新的请求打开你的链接之后。如果你使用的是机械汤，你就不应该使用request或者漂亮汤，因为机械汤已经建立在这些库的基础上了。所以您没有使用新的请求连接进行连接！所以直接调用browser.open(my_url)，并通过浏览器对象使用漂亮汤。