WP网站上"PHPCrawl“的404个点击量

Question

如果这是在错误的领域，请原谅我--考虑到这个话题，我认为它属于这里(与WP相反)。如果我错了，纠正我或者移动它。

我一直在寻找一个我控制的网站(一个我们一直有各种小问题)，并检查了我的404日志。通常，我希望看到生成的captcha图像和其他随机条目，但今天我看到了该站点的几个页面，其中的“/”附在末尾，所有的页面都以"PHPCrawl“作为用户代理。

据我所知，这是一个开放源码脚本，开发者可以随意使用。我没有用过这类东西。我不相信其他控制这个网站的人。

有可能是其中一个插件导致了这些条目吗？它是从某个搜索引擎自动生成的吗？这是什么东西，我应该担心伤害网站或其搜索引擎优化？

Answer 1

有可能是其中一个插件导致了这些条目吗？

除非您的插件尝试索引站点，否则极不可能。但是插件可以访问wp-post表，所以不需要通过前端进行爬行。

它是从某个搜索引擎自动生成的吗？

潜在的，但不是一个主要的蜘蛛，因为这些蜘蛛是很容易和容易识别在你的日志。我想不出任何合法的搜索引擎会使用PHPCrawl。您应该开始跟踪导致404错误的IP地址。

这是什么东西，我应该担心伤害网站或其搜索引擎优化？

没有足够的信息来明确地回答这个问题。有人正在通过脚本爬行你的网站，但没有办法知道为什么或目的，他们将使用这些数据。你应该担心吗？可能not...this之类的事情总是会发生的。如果IP地址证明来自您不关心的区域，请在.htaccess文件中添加拒绝行并阻止它们。会影响SEO吗？再说一次，很有可能不是。远程可能有人正在添加页面来创建一个垃圾页面的链接，但仔细检查您的分析将发现任何奇怪的反向链接，然后您可以轻松地处理这些。

tl;dr

形势值得关注，但不太可能成为问题。