首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何向公众隐藏elasticbeanstalk.com地址(搜索引擎爬虫)

如何向公众隐藏elasticbeanstalk.com地址(搜索引擎爬虫)
EN

Server Fault用户
提问于 2015-07-17 07:38:19
回答 4查看 1.9K关注 0票数 0

我已经购买了一个域名从高爸爸(这里提到这里作为xyz.com )。我在aws上托管了我的网站,使用弹性豆柄,它生成了一个cname (这里提到abc.elasticbeanstalk.com)。

现在我做了两个配置: 1.将xyz.com转发到www.xyz.com 2.将cname映射到abc.elasticbeanstalk.com

xyz.com & www.xyz.com在浏览器中正常打开,一切似乎都很好。

问题是搜索引擎在搜索结果中显示abc.elasticbeanstalk.com,以查找与xyz.com相关的关键字。

我想让abc.elasticbeanstalk.com对所有这些搜索引擎爬虫隐藏起来。以前有人遇到过这个问题吗?

EN

回答 4

Server Fault用户

发布于 2016-06-01 15:42:03

您可以为站点设置一个规范网址

代码语言:javascript
复制
<link rel="canonical" href="https://example.com/current/request/uri" />

另一个可能的解决方案是设置自定义Apache配置,以重定向访问EB域的访问者。这需要自定义急性心肌梗死来安装您的EB。

票数 1
EN

Server Fault用户

发布于 2016-08-03 08:33:13

正确阻止搜索引擎索引站点的唯一方法是添加noindex元。

代码语言:javascript
复制
<meta name="robots" content="noindex">

要防止只对Google网页爬虫进行索引,请执行以下操作:

代码语言:javascript
复制
<meta name="googlebot" content="noindex">

将此元标记添加到任何不希望在Google上索引的页面中。

阅读更多:https://support.google.com/webmasters/answer/93710?hl=en

票数 0
EN

Server Fault用户

发布于 2016-06-01 15:26:57

是的,上面的机器人文件示例将阻止大多数搜索引擎爬行您的站点,这将导致它可能不会被索引。这不一定意味着它将完全去索引,但仍然有很小的机会,它可能被索引。确保google不会对您的站点进行索引的唯一方法是添加not标记。

来自谷歌支持文档

< meta name=“机器人”content="noindex">

票数 -1
EN
页面原文内容由Server Fault提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://serverfault.com/questions/706467

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档