使用身份验证抓取网站的爬虫

Question

有没有开源爬虫可以抓取需要身份验证(用户名/密码)才能登录的网站？？我需要它来爬行我的大学网站索引在website..Any帮助中存在的文档，非常感谢。

Answer 1

据我所知没有，如果有的话，你的系统管理员可能不会允许。

你可以找一个基本的爬虫的例子，然后自己去做……

Answer 2

您可以基于PHP/libCurl或Ruby/Curb编写脚本。网站的认证是基于cookie的，Curl库在程序中提供了发送cookie的函数。

我不知道你更喜欢哪种语言(PHP还是Ruby)。如果你正在使用Ruby，你可以像下面这样写代码

require 'curb'
require 'uri'
curl = Curl::Easy.new
curl.url = 'http://example.com/login/page'
curl.enable_cookies = true
curl.cookiefile = '/tmp/cookie'
curl.cookiejar = '/tmp/cookie'
form_field = URI.encode_www_form('username'=>yourname, 'password'=>yourpwd)
curl.http_post(form_field)

文件'/tmp/ cookie‘用于像浏览器一样存储和读取cookie。Cookie使身份验证成为可能。

'form_field‘包含网站的用户名和密码，但基于网站应该需要一些其他字段。你应该破解网站的登录表单，以了解哪些字段必须是网站的POSTed。