我已经购买了一个域名从高爸爸(这里提到这里作为xyz.com )。我在aws上托管了我的网站,使用弹性豆柄,它生成了一个cname (这里提到abc.elasticbeanstalk.com)。
现在我做了两个配置: 1.将xyz.com转发到www.xyz.com 2.将cname映射到abc.elasticbeanstalk.com
xyz.com & www.xyz.com在浏览器中正常打开,一切似乎都很好。
问题是搜索引擎在搜索结果中显示abc.elasticbeanstalk.com,以查找与xyz.com相关的关键字。
我想让abc.elasticbeanstalk.com对所有这些搜索引擎爬虫隐藏起来。以前有人遇到过这个问题吗?
发布于 2016-06-01 15:42:03
您可以为站点设置一个规范网址:
<link rel="canonical" href="https://example.com/current/request/uri" />另一个可能的解决方案是设置自定义Apache配置,以重定向访问EB域的访问者。这需要自定义急性心肌梗死来安装您的EB。
发布于 2016-08-03 08:33:13
正确阻止搜索引擎索引站点的唯一方法是添加noindex元。
<meta name="robots" content="noindex">要防止只对Google网页爬虫进行索引,请执行以下操作:
<meta name="googlebot" content="noindex">将此元标记添加到任何不希望在Google上索引的页面中。
阅读更多:https://support.google.com/webmasters/answer/93710?hl=en
发布于 2016-06-01 15:26:57
是的,上面的机器人文件示例将阻止大多数搜索引擎爬行您的站点,这将导致它可能不会被索引。这不一定意味着它将完全去索引,但仍然有很小的机会,它可能被索引。确保google不会对您的站点进行索引的唯一方法是添加not标记。
来自谷歌支持文档

< meta name=“机器人”content="noindex">
https://serverfault.com/questions/706467
复制相似问题