阻止Google从我的网站上的链接创建页面

Question

我的网站现在有个很奇怪的问题。我有一个“发送这个产品到一个朋友”弹出窗口，出现在我的产品页面。此窗口是一个弹出窗口，但它位于单独的html页面上，该页面被调用并放入弹出，如下所示：

下面是用户单击以触发弹出窗口的链接：

<li><a class="email-friend" rel="nofollow"></a></li>

下面是让弹出窗口显示的jquery：

<script>
        jQuery(document).ready(function(){
            jQuery('.email-friend-popup').jqm();
            jQuery('a.email-friend').click(function(){

               jQuery.ajax("/catalog/send.html?productId=<?= $product->entity_id; ?>", {
                    data: {},
                    success: function(data, status, xhr){

                        setTimeout(function(){ jQuery('.email-friend-popup').html(data); }, 1000);
                             //jQuery('#jqmHide').click(function(){ jQuery('#jqmWindow').jqmHide(); });
                     }
                });

               jQuery('.email-friend-popup').html('<img src="/media/island/loading.gif" />').jqmShow();
               return false;
            });
        });
        </script>

当Google爬行我的页面时，它会创建如下链接: /catalog/send.html?product=3791。与我们的网站上的几百种产品，这是一个相当大的SEO问题。正如您所看到的，我在a标记中添加了rel=“no追随者”，但这似乎并没有解决这个问题，因为页面仍然存在。有没有人知道这个问题，或者有一个解决办法可以解决它？

您可以看到弹出窗口在这里工作：http://www.islandcompany.com/catalog/mens-resort-wear/classic-shirts/bimini-striped-linen-shirt.html

下面是由于这个错误而创建的页面：http://www.islandcompany.com/catalog/send.html?product=7871

Answer 1

您可以将“机器人”元标记添加到/catalog/send.html：

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

更多信息：http://www.robotstxt.org/meta.html

Answer 2

通过使用放置在网站根目录(www.example.com/ robots.txt )的robots.txt文件(这里有更多的信息)，可以防止Google (和其他搜索引擎的机器人)爬行页面。

你可以写这样的东西：

User-agent: *
Disallow: /catalog/send.html

url将从Google索引中删除(经过一段时间后)，您可以使用Google网站管理员工具提供的工具之一( "Google索引“部分下的"URL删除”工具)强制执行此操作。