利用Ruby机制访问网站的难点

Question

我正试图访问airbnb上市公司的日历数据，但到目前为止都没有成功。我正在使用Ruby中的机械化宝石，当我试图访问链接以访问表时，我遇到了以下错误：

require 'mechanize'
agent = Mechanize.new
page1=agent.get("https://www.airbnb.com/rooms/726348")
page2=agent.get("https://www.airbnb.com/rooms/calendar_tab_inner2/73944?cal_month=11&cal_year=2013&currency=USD")
Mechanize::ResponseCodeError: 400 => Net::HTTPBadRequest for https://www.airbnb.com/rooms/calendar_tab_inner2/726348?cal_month=11&cal_year=2013&currency=USD -- unhandled response

我还尝试单击使用以下代码生成表的选项卡，但这样做只需从原始url生成html。

agent = Mechanize.new
page1=agent.get("https://www.airbnb.com/rooms/726348")
page2=agent.click(page1.link_with(:href => '#calendar'))

任何帮助都将不胜感激。谢谢!

Answer 1

我看到了问题，您需要检查请求头：

page = agent.get url, nil, nil,  {'X-Requested-With' => 'XMLHttpRequest'}