如何阻止搜索引擎爬虫为Lemoon站点建立索引？

Question

我们有一个公共站点和一个在Lemoon 4.5.1中创建的测试站点，我们希望测试站点完全不被索引。有可能吗?我们该怎么做？

我们在更新站点时使用web部署包。因此，如果我们在测试站点中添加一个robots.txt，那么每次部署时它都会被覆盖。

在编辑页面时，有一个"Meta NoIndex“设置，这可能适合我们，但我们希望避免编辑每一页。

Answer 1

我通过在站点上添加一个元数据密钥(AvoidSearchEngineIndexing)来解决这个问题。在每个页面使用的母版页中，我检查它是否已设置，并调整机器人元标记中的内容。

代码背后

protected void Page_Load(object sender, EventArgs e)
{
    MetaRobotsContent = "index, follow";
    object avoidSearchEngineIndexing;
    if (Site.MetaData.TryGetValue("AvoidSearchEngineIndexing", out avoidSearchEngineIndexing) && ((avoidSearchEngineIndexing as bool?) ?? false))
    {
        MetaRobotsContent = "noindex, nofollow";
    }
}

protected string MetaRobotsContent { get; set; }

标记

<meta name="robots" content="<%= MetaRobotsContent %>