网页爬虫/蜘蛛索引蔚蓝网站吗？

Question

对于那些希望自己的网站尽可能被发现的人(而谁不想发现呢？)，微软的Azure网站(azurewebsites.net)是否是一个可行的网站托管域？

我有一个既位于azurewebsites.net上，又由discountasp.net以完全不同的名称托管的站点

除了URL之外，这两个站点都是完全相同的；每当我更新代码时，我都会将站点重新发布到/在这两个地方。很明显，它们都有相同的H1和H2元素。

在搜索我的H1标签中的值/内容时，我发现我的.com站点在谷歌上列出了#3，在必应和雅虎上都列出了#2；OTOH，我的azurewebsites.net站点根本没有出现在第一个页面上，在任何一个页面中。

这让我想知道azurewebsites.net是否应该只用于Web托管之类的，而不是用于一般/商业的“公共”站点。我的结论有效吗？

Answer 1

那么，你的网站完全一样吗？相同的内容，同样的html？唯一的区别是域名和主机？

只要是公开的，蜘蛛就会爬行任何网站，而且robots.txt或metatag内部没有任何规则明确告诉他们不要进入网站。

你的问题在于复制内容，在Googlebot看来，你的一个网站正在从另一个网站复制内容，它不喜欢这样，它会对它认为最先发布的网站给予信任，但会考虑到权威、排名、寿命，它会无视甚至惩罚复制内容的网站。

来自Google 帮助：

谷歌努力用不同的信息来索引和显示页面。例如，这种过滤意味着，如果您的站点有每一篇文章的“常规”和“打印机”版本，而这两个版本都没有被noindex元标记阻止，我们将选择其中一个来列出。在很少的情况下，谷歌认为重复的内容可能会被显示，意图操纵我们的排名和欺骗我们的用户，我们也将作出适当的调整，在索引和排名所涉及的网站。因此，该网站的排名可能会受到影响，或者该网站可能会完全从谷歌索引中删除，在这种情况下，它将不再出现在搜索结果中。