使用分页从GEO DataSets获取搜索结果的url链接

Question

我想从这个搜索结果页面获得每篇文章的所有链接：https://www.ncbi.nlm.nih.gov/gds/?term=lung+cancer

但是我在获取下一页的网址时遇到了问题。来自<div class="pagination">，它说：

<a name="EntrezSystem2.PEntrez.Gds.Gds_ResultsPanel.Entrez_Pager.Page" title="Next page of results" class="active page_link next" href="#" sid="3" page="2" accesskey="k" id="EntrezSystem2.PEntrez.Gds.Gds_ResultsPanel.Entrez_Pager.Page">Next &gt;</a>

因此，我使用python urllib检索下一个页面的url，以便使用BeautifulSoup获取其内容：

param2=urllib.urlencode({'sid':3,'page':2,'accesskey':'k','id':'EntrezSystem2.PEntrez.Gds.Gds_ResultsPanel.Entrez_Pager.Page'})

f2=urllib.urlopen('https://www.ncbi.nlm.nih.gov/gds/?term=lung+cancer',param2)

soup2 = BeautifulSoup(f2.read(), 'html.parser')

现在的问题是，即使我把页码从1改成了10，我还是得到了第一页的内容。谁能告诉我我做错了什么？

Answer 1

你应该发送大量的数据(通过发出POST请求)才能获得下一页。在任何浏览器中使用开发人员工具来检查您需要发送哪些数据。

​

​

(未显示所有数据)