Web爬虫是否模拟用户行为？

Question

正确地构造网页的内容或模式对于搜索引擎优化是非常重要的。我想知道是否流行的网络爬虫或机器人(谷歌机器人，宾博特等)能够模拟用户行为并对页面进行相应的索引。

例如，如果我有一个带有隐藏子菜单的导航菜单，则只有当用户在主菜单项上执行某项操作(例如鼠标切换)时，该菜单才会可见。机器人也会这么做吗？这些子菜单项或隐藏链接会被编入索引吗?还是仅仅包含在sitemap.xml中就足够了？

我还想知道爬虫是在等待document.ready还是window.load。

请指点我。

Answer 1

大多数优秀的搜索引擎爬虫(即Googlebot)可以处理JavaScript、JQuery等，并呈现网站，就像用户看到它们一样。这些爬虫将能够抓取你的菜单和子菜单项目。不过，请使用最佳实践，以免遇到隐藏问题，例如使用“隐藏”标记。