识别和渲染机器人

Question

我们有一些过滤器来请求爬虫，或者在浏览器中机器人和渲染之间应该没有区别？

请求机器人应该被认为是通过浏览器的公共访问？

我读到这个机器人有谷歌网页版和移动版。

我们需要识别的移动机器人是不是要像手机一样显示内容？

Answer 1

您可以从域根目录中名为robots.txt的文件中告诉机器人可以访问和不能访问的内容。

你读过这篇文章了吗？

http://www.robotstxt.org/robotstxt.html

它解释了如何允许/禁止机器人进入你网站的某些区域。

示例：

要从服务器的一部分排除所有机器人，请执行以下操作

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/