如何从“每个页面”中获取“页面链接”？

文章/答案/技术大牛

发布

2回答

web-scraping、beautifulsoup、python-requests、web-crawler、href

我想从python3的“每一页”中获得“每一页链接”。在我的代码中，“每个页面”所在的位置是BaseUrl。而且，在我的代码中，每个页面的链接都位于body中。我想从每个网页收集每个链接，使作为linkUrl的链接列表。有什么问题吗？

浏览 15提问于2019-11-18得票数 1

回答已采纳

1回答

漂亮的汤分页，在next_page类中find_all找不到文本。还需要从URLS提取数据

web-scraping、beautifulsoup、pagination

站点组织是主站点页面-->州页面-->县页面-- 120带有名称和url的头像-->带有我最终想要的数据的url，下一步链接到另一组120。我认为最好的方法是编写一个抓取器，它将从120张照片的表格中抓取URL和名称，然后使用分页从县的其余部分抓取所有的URL和名称(在某些情况下有上千张的10张)。next_page_url)else: parse_p

浏览 4提问于2019-11-15得票数 2

回答已采纳

1回答

如何使用python在网页的HTML中搜索包含特定单词的URL？

python、html、web-scraping

使用Python，我希望能够创建我从多个页面获取的URL列表，每个页面都有一个链接(尽管页面上可能有多个对同一链接的引用)，其中每个URL中都有重复的关键字。如何在页面的HTML中搜索包含此特定单词的URL？抱歉，如果这是很明显的事情，您能提供的任何帮助都将非常感谢。

浏览 38提问于2020-04-10得票数 1

回答已采纳

1回答

Python提取链接

python、hyperlink、beautifulsoup

有没有办法从单个页面中提取所有链接(例如，该页面有3个链接)。有没有人可以写给我用来提取这样的链接。但是，当这些链接打开时，我想做一些事情，例如从该网站提取所有数字。我想在其中的某一部分使用BeautifulSoup，但只能使用BS4或？

浏览 22提问于2018-07-18得票数 -3

回答已采纳

1回答

通过链接将外部页面加载到div中

jquery、ajax

我尝试使用以下代码将外部页面加载到div中： $("div#cart_load").load("*url_here*");问题是，我在一个页面中有多个链接(a.btn)；每个链接都有对应于不同产品的不同URL (例如)。如何使load函数自动从每个链接获取URL？

浏览 0提问于2010-11-12得票数 0

回答已采纳

3回答

如何使用wordpress菜单显示单个帖子？

content-management-system、wordpress、wordpress-theming

我可以把它们转换成页面。但我不想松散标记和URL。有谁能帮帮忙吗？谢谢

浏览 4提问于2013-04-29得票数 0

2回答

如何从网址上获取网站的远程屏幕截图？

c#、html、multithreading、html-agility-pack、webpage-screenshot

所以我有一个应用程序：将其数据保存到SQL (图像大小、页面大小、字数、字数等)，并将此过程与其日期保存在一起。这是为了检查网站上的数据，看看是否有任何变化(比如一个错误或以前上传的图片有问题)，我想为每个页面添加一个屏幕截图/缩略图。如何在每个线程中截

浏览 2提问于2017-10-23得票数 0

3回答

如何在cq5中从服务器端获取页面各个组件的加载时间

java、aem

如何从服务器端获取CQ5页面中每个组件的加载时间。在这里，根据我的实现，我们从request.log文件加载页面的时间最长。但是我需要从服务器端获得页面的每个组件的加载时间。我找到了这个链接，但它可以在客户端运行：

浏览 1提问于2016-12-27得票数 0

2回答

在PHP中解析分页HTML表

php、html、web-scraping

我试图使用简单的HTML解析器在MySQL数据库中废弃一个HTML来定位一个表并将它的值存储在它中。我面临的唯一问题是，特定的HTML表有一个服务器端分页实现。

浏览 2提问于2015-06-17得票数 0

1回答

scrapy加上selenium以处理动态多页--不能继续单击

parsing、selenium、click、scrapy、multipage

我使用Scrapy + selenium从动态pages.here中抓取数据是我的蜘蛛代码： name = 'apps_v3except:问题是，每次单击page2之后，它都会退出当前页面需要解析的页面是： (它是中文的，很抱歉给您带来不便)，我需要打开底部的页面并刮掉评论数据。我被这个问题困了两天了。我真的很感谢你的帮助。谢谢..。

浏览 0提问于2014-01-08得票数 0

回答已采纳

1回答

如何在PHP中保存从HTTP请求下载的所有资源

php、curl、wget

是否可以用PHP保存从HTTP请求下载的所有资源？编辑:这里的重点是模拟浏览器的行为。如何使用PHP保存整个页面。，如果它必须

浏览 4提问于2014-03-04得票数 1

2回答

你的“抓取作为谷歌机器人”津贴刷新吗？

google、google-search-console、fetch-as-google

在谷歌网站管理员工具中，你可以获取谷歌机器人-你可以做500次，你还必须提交索引，你可以做10次，做这些允许刷新或它们是否为网站的生命。呃，一旦你把它们都用完了，就这样了？

浏览 0提问于2012-07-14得票数 2

回答已采纳

2回答

是否有用于下载回执的条带API？

stripe-payments

在条带支付系统中，对于下载Invoice.pdf，我们可以通过条带接口根据id检索Invoice对象，然后检查字段Invoice.invoice_pdf参见有没有类似的方式来获取收据？

浏览 17提问于2019-07-30得票数 4

1回答

在不将@PathVariable添加到ModelAndView的情况下，向我的所有JSP页面传递@PathVariable的最佳方法是什么？

java、spring、jsp、spring-mvc、jakarta-ee

我改变了我的道路，从：至谢谢!

浏览 0提问于2015-02-21得票数 0

回答已采纳

1回答

查找特定页面的id

java、jsoup、web-crawler

只有当我点击“阅读更多”链接或点击该特定链接时，我才能获得完整的数据。所以我注意到url中的id只是在改变，但是我不知道如何从url中提取id。如果我将一个位置指定为i/p，并在程序中传递它的id，那么它会更容易。我怎么才能访问id呢？

浏览 2提问于2014-02-19得票数 0

1回答

如何在reactjs中直接访问特定的产品？

reactjs

每个产品都有自己的id，所以当我单击某个产品时，id将被传递给我的产品详细信息(/ product /samsung)。在我的产品详细信息页面中，我将从一个url链接( / product /1 )中获取所有产品的数据。因此，如果我想直接从google访问产品详细信息页面，而不选择我的网站中的产品，我如何将产品的id传递给产品详细信息页面？因为页面</

浏览 0提问于2019-06-11得票数 1

回答已采纳

1回答

不提供链接但动态获取数据的引导程序分页

html、twitter-bootstrap、pagination

li><a href="#">4</a></li> <li><a href="#">»</a></li>它们给出了每个页面的链接如果我没有数据作为页面，

浏览 2提问于2014-03-28得票数 0

1回答

切换每个链接旁边的每个div并获取post数据

jquery、toggle

<a>时，下一个div将切换，同时它将通过post从另一个页面获取数据到该div中。但是数据不是从另一个页面获取的。} return false;}); 在单击每个链接并从另一个页面获取post数据后，

浏览 0提问于2013-03-27得票数 0

1回答

wget从不同的子域到原始链接的特定文件夹

wget

相反，网页包含指向100个更多页面的链接。每个页面都有我想要下载的10个文件的链接(构成第一个文件夹中的1000个文件)。因为我想要的文件存储在与页面不同的子域中，所以我似乎必须设置spanning hosts，否则wget将无法获取文件。不幸的是，这些页面还包含一堆我不想要的文件的链接，以及大量到互联网其余部分的链接，所以跨主机给了我一堆来自各地的随机文件。如何告诉wget只<

浏览 2提问于2013-08-28得票数 0

点击加载更多