Bingbot将unicode字符转换为无法识别的符号

Question

当bing试图索引一些包含unicode字符的页面时，我的网站出现了很多错误。

例如：

http://www.example.com/kjøp 

Bing正在尝试建立索引

http://www.example.com/kjøp

然后我得到错误"System.NullReferenceException: Object reference not set to an object instance“。因为没有这样的控制器。

谷歌很好地使用了这样的链接。如何帮助bing理解挪威字母？

Answer 1

您可以通过执行"INURL:“搜索来确认Bing没有正确地索引这些URL...https://www.bing.com/search?q=inurl%3A%C3%B8

只有6个页面被编入索引，这是不正确的。

不幸的是，你不能修复Bing。但是，您可以通过对站点进行一些更改来弥补它的缺点。这是一个你不应该处理的负担。然而，另一种选择是什么都不做，并且继续不能正确链接页面。

Bing可能会在URL包含此列表中的字符时遇到问题...https://www.i18nqa.com/debug/utf8-debug.html

您的URL服务器需要查找包含这些字符的URL请求。然后您将用正确的字符替换错误的字符，并执行301重定向到正确的页面。具体情况取决于您使用的服务器和编程语言的类型。在您的例子中，它最有可能是IIS和MVC，所以您最有可能研究一下Microsoft的URL重写扩展。https://www.iis.net/downloads/microsoft/url-rewrite

然而，在这样做之前，我想看看Bing的站长工具可能会提供什么错误。https://www.bing.com/toolbox/webmaster

另一种选择是不在URL中使用这些字符。我的建议是花时间使用错误到正确的翻译。必应最终会解决这个问题，但这可能需要相当长的一段时间。