我应该通知‘在建’网站爬虫吗？如果是，怎么做？

Question

我目前正在开发一个网站，这将需要一些时间来完成。我需要经常将一些“东西”转移到生产中，同时保持under construction状态。我的首页会清楚地提到我的网站正在建设中。

我知道爬虫会访问我的网址，然后我准备好去现场。我是否应该告诉他们我的网站正在建设中(不需要索引)？如果是，怎么做？

最后，我可以让他们看到我的在建首页。

Answer 1

如果你不希望搜索引擎在你准备好之前索引你的内容，用robots.txt和元标签阻止它们。

Answer 2

别担心!出版了，该死的！避免提及“在建”。嘿，每个网站都在进行中。也许你可以给我们一个链接，这样我们就可以看到问题(或者没有问题)。

我猜搜索引擎(和读者)会喜欢你的网站，如果它继续发布新的网页。