NoFollow规则后的Bot函数

Question

我只是想知道在元标签中使用无跟随规则后，googlebot或任何其他搜索引擎爬虫/机器人的功能是什么。大概机器人就在你的网站上，通过链接重定向等方式到达一个页面，但是如果链接的页面包含代码<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">，那么机器人在那之后会去哪里呢？它是返回到上一页，还是执行其他一些功能？希望这听起来不是一个愚蠢的问题，但我只是好奇。

Answer 1

通常，网络爬虫不会在遇到它们时直接访问在给定网页上找到的链接，而是将这些链接添加到等待列表中，当蜘蛛完成加载当前页面时，他只需在该列表中查找并从那里弹出另一个url，新的链接不是必须从最后获取的页面，它可以是来自上一个页面或甚至另一个网站(取决于列表的组织方式)。