如何防止bot/googlebot索引促销主页？

Question

我们有一个电子商务网站。由于一些营销和宣传活动，我们正在显示应用下载页面/横幅/促销/大图像(和其他任何东西)在我们的主页上，如果用户是第一次访问网站，这是基于cookie的。

但是我不希望机器人/爬虫看到这个内容(大图像)，相反，他们应该看到设置cookie之后的真实内容。URL对于两个内容都是相同的。

我可以对此做更多的澄清。如何避免机器人看到促销内容？

Answer 1

现在，我使用这个函数来检测php控制器代码中的机器人/爬虫，并根据需要进行重定向。

function bot_detected()
{
  if 
  (
    !isset($_SERVER['HTTP_USER_AGENT'])
    ||
    empty($_SERVER['HTTP_USER_AGENT'])
    ||
    preg_match('/bot|crawl|slurp|spider/i', $_SERVER['HTTP_USER_AGENT'])
    ||    
    preg_match('/scrappy/python/httpclient/Googlebot|DoCoMo|YandexBot|bingbot|ia_archiver|AhrefsBot|Ezooms|GSLFbot|WBSearchBot|Twitterbot|TweetmemeBot|Twikle|PaperLiBot|Wotbox|UnwindFetchor|facebookexternalhit/i', $_SERVER['HTTP_USER_AGENT'])
   ) 
  {
    return TRUE;
  }
  return FALSE;
}

Answer 2

您需要一个robots.txt文件。

来自维基百科

机器人排除标准，也被称为机器人排斥协议或robots.txt协议，是一种惯例，建议合作的网络爬虫和其他网络机器人访问网站的全部或部分，否则是公开查看。机器人经常被搜索引擎用来分类和归档网站，或者被网站管理员用来校对源代码。该标准不同于网站的机器人包含标准，但可以与站点地图结合使用。

请记住，如果机器人是“邪恶的”，它们可以简单地忽略这些指令；但是，如果设置正确，Google和其他搜索引擎应该遵守它。