Wordpress是否列出了爬虫程序的所有页面？

Question

我在Wordpress网站上创建了一个仅供内部使用的页面，并触发了一些后端代码。几天之内，我开始在那个页面上看到来自"bingbot“的点击量。

我没有使用任何类型的网站地图插件。爬虫是如何找到这个页面的？

我知道robots.txt文件可以阻止它们，但我想确保它们不会出现在不尊重这一点的爬虫程序中。我仍然希望有公开的网页，如果有人在网址键入。

在Wordpress中需要做什么才能确保页面不会被发现，除非输入URL？

Answer 1

任何给定的URL都可能在帖子发布后被“发现”，如果站点上其他地方有指向它的链接的话。没有保证的方法可以阻止搜索引擎对URL进行索引。