浏览器限制会影响网页爬虫吗？

Question

我正在使用普通模式和不推荐的浏览器模式创建站点，如果有人进入www.mysite.com，他的用户代理就会出现这样的情况：

            // Mobile
            if (Request.Browser.IsMobileDevice) return Redirect("/m");

            // Tabļet
            if (Request.UserAgent.Contains("BlackBerry") || (Request.UserAgent.Contains("iPhone") || (Request.UserAgent.Contains("Android")))) return Redirect("/t");

            // Deprecated
            if (Request.Browser.Browser == "IE" && Convert.ToInt32(Request.Browser.Version) < 9) return Redirect("/h");

            // Normaļ
            return View();

问题:如果我限制一些浏览器访问我的主视图，它也会限制对网络爬虫的访问吗？

Answer 1

取决于爬虫。通常所有的主要爬虫，如谷歌等，只要尊重robots.txt和rest都应该是可爬行的。除非有人已经写了一个粗劣的编码爬虫，它不应该影响你的网站爬行。你也可以尝试使用nutch，开放源码的网络爬虫来抓取你自己的网站。

Answer 2

我写了一个简单的网络爬虫来抓取麦当劳的网站。爬虫每次抓取的都是移动网页。因此，对于简单的爬虫程序，您的设置将限制访问。但是主要的网络爬虫没有这个问题。