爬虫会在论坛上添加页面浏览吗？

Question

我有一个MyBB论坛，我得到了多个页面上的新线程在3-5分钟内发帖。我手动提交新的网址通过谷歌网站管理员的工具，如果任何情况下，应占1页的浏览，但不多。我现在没有活跃的会员。研究让我相信，我的100+成员谁从来没有张贴或回复管理电子邮件，实际上是注册机器人。那么，我的新内容是来自真实的人还是来自网络爬虫的页面浏览呢？

Answer 1

爬虫会在论坛上添加页面浏览吗？

很有可能。爬虫会像任何真正的访问者一样进行HTTP请求。除非您的论坛软件特别排除了机器人的页面视图计数，否则bot流量将被包括在内。(然而，即使论坛在其统计数据中分离了bot流量，我也不会认为它会实时完成，因为需要额外的步骤来确定它是否是bot --而且您希望避免这样做，因为页面是为客户端服务的。)

如果有的话，这应该是一个页面视图，但不是多个页面。

当Google索引一个URL时，您很可能会从不同的爬虫(移动、桌面等)中获得超过1次的访问。

检查您的访问日志/分析/统计软件。检查IP地址(反向查找)、用户代理和HTTP引用。只有少数几个页面查看，您应该能够确定这些是机器人还是真正的访问者。

正如@Zdenek在评论中所建议的那样，在查看相关页面时，多个页面视图可以简单地归结为浏览器预取机制。<link rel="prefetch" href="...">。链接页面可以在后台下载(触发页面视图)，以加快用户的浏览体验。