当我使用大写和小写混合时，Bingbot试图访问小写urls

Question

我有一个网站(动态房地产网站)，它已经运行了将近一年，突然之间，宾博特都试图访问完全低价版本的主页面，导致404个错误。

基本url是小写的，但是后面的页面是混合的。

https://example.com/Houses-for-sale-in-Suburb-STATE-3345.php

我已经阅读了rel规范和301重定向，并且已经了解到使用大写并不是一个好主意，尽管我决定使用它们，因为我的国家的状态是用大写表示的。

我不知道如何处理这一点，如果我将所有大写URL转换为小写，那么机器人仍将尝试访问大写版本。

Answer 1

给我的答案是继续进行测试，并在我的.htaccess中实现以下内容

RewriteEngine On # Turn on the rewriting engine

Redirect 301 /houses-for-sale-in-suburb-state-3345.php http://example.com/Houses-for-sale-in-Suburb-STATE-3345.php  

我为每个在URL中有上限的页面编写了一个重定向，除了动态创建的URL，它是由RewriteRules在.htaccess中驱动的&将重定向置于RewriteRules之上

Answer 2

当我在TripAdvisor工作时，我们一直都看到这个问题。TripAdvisor有混合案例URL，如：

https://www.tripadvisor.com/Hotels-g60763-New_York_City_New_York-Hotels.html

包括BingBot在内的许多爬虫都会尝试在抓取整个URL之前降低其大小写。为了解决这个问题，我们确保所有小写URL都将重定向到混合大小写版本。因此，下面给出301重定向：

https://www.tripadvisor.com/hotels-g60763-new_york_city_new_york-hotels.html

我们使用URL中的ID来确定正确的URL并重定向。看起来您的URL中有一个数字id，您也可以使用它。

由于这一经验，我建议URL的规范版本始终都是小写版本。我不建议使用混合的案例URL，因为有太多的糟糕的程序爬虫。

StackExchange也做了类似的事情。如果您请求一个id仍然完整的被屠杀的URL，您将得到一个重定向到正确的东西。您可以通过为这个问题获取以下URL来测试这个问题：

http://webmasters.stackexchange.com/questions/100613/BINGBOT-IS-DUMB

我还建议，由于截断问题，数字I应该靠近URL的前面。你可以纠正

/Hotels-g60763-New_Yor...

但对以下方面来说却不那么容易：

/Houses-for-sale-in-Su...