如何在网站上为不同的蜘蛛设置不同的语言？

Question

我有多语言网站。实际上，网站语言是根据web浏览器语言来选择的。

有没有办法根据搜索引擎蜘蛛设置语言？例如：

• 为百度搜索引擎蜘蛛显示中文网站，
• 用俄语显示网站上的燕德龙蜘蛛？

Answer 1

这叫做履带识别。当向您的网站发出请求时，字段包含有关浏览器或爬虫的信息。

根据爬行器的不同，此字段的值将有所不同。然后，您可以将不同的值与不同的语言相关联。您还可以查看用户代理的大列表。

我仍然非常肯定，通过这样做，将降低您在搜索引擎中的排名，因为您为爬虫提供的响应与实际用户的响应不同，但我没有可靠的引用来支持这一声明。

在所有情况下，爬虫都会以不同的语言收集资源，这些爬虫知道如何处理多语言网站，除了那些试图遵循每一种最坏的做法的网站。另外，你引用的搜索引擎并不仅限于一种语言。Yandex可以在土耳其语中找到。至于百度、根据维基百科，它为中国、日本、泰国、埃及和印度服务。