向机器人隐藏代码

Question

我只是在想。有没有一种方法只对爬虫隐藏页面的特定部分？

我知道我可以设置"display: none“，然后用JS将其显示给用户。在过去，它可以工作，但现在爬虫(/will )更聪明(尤其是谷歌的爬虫)，可以阅读JS。

那么，有没有办法对机器人隐藏某些部件，但在未来不会对用户隐瞒？不是整页，只是部分。

PS #1:我只是在想，我没有理由这么做(现在？)

PS #2:也许AJAX是可能的？但没有理由不让智能js阅读爬虫来隐藏它。

谢谢大家，

麦芽酒

Answer 1

不是的。

从根本上讲，机器人和由人操作的UA之间没有明显的区别。

机器人可以执行JS。机器人可以绕过captcha (通过图像分析，或者将它们提供给那些为了钱而翻译它们的人，或者其他各种技术)。机器人可以实现时间延迟，使其看起来不那么像机器。等。