在没有robots.txt的情况下，什么规则管控？

Question

搜索引擎不应该爬行没有robots.txt的网站吗？

编辑1:如果连机器人的meta标签都没有怎么办？我正在尝试确定这里所涉及的法律问题。就是这样。

Answer 1

搜索引擎将在没有robots.txt文件的情况下爬行站点上所有可公开访问的页面。