用户代理:媒体中介-谷歌是什么意思？

Question

我正在浏览谷歌支持网站，他们说：

“要更新robots.txt文件以允许我们的爬虫访问您的页面，请从robots.txt文件中删除以下两行文本：

User-agent: Mediapartners-Google
Disallow: /

这一变化将允许我们的爬虫索引你的网站的内容，并向你提供谷歌广告。“

有人能解释一下为什么我需要从我的博客网站上删除这两行吗？我在YouTube上看到一个家伙为了SEO的目的添加了这些行。

Answer 1

你是应该离开这个指令还是删除它取决于你是否运行谷歌的AdSense广告。

上面的指令规定，对于Mediapartners代理(用于AdSense程序)，您的站点上的所有内容(从根到根)都不允许。删除这两行将允许此用户代理爬行您的网站，或者至少允许您对所有机器人的指令，通常由通配符(*)表示，否则允许。

Google AdSense是Google的网站广告网络。您可以在您的网站上运行广告，或选择一组您的网页，当您批准了AdSense程序，并将必要的代码放在您的网站上。

为了在你的网站上运行适当的广告，谷歌需要抓取你的内容并确定它的上下文。这就是他们的ads爬行器发挥作用的地方。谷歌拥有许多爬虫，而这只是其中之一。

因此，如果你在你的网站上运行谷歌AdSense广告，就去掉这两条线。如果你不这样做，那么你不需要AdSense来爬行你的网站，你可以把它们放在里面。AdSense有一个轻量级的爬虫，不会以任何方式压倒你的网站，所以如果你允许它爬你的网站，你可能不会注意到有什么不同，只要你偶尔监控它在你的网站上的活动。