如何在node.js中发出https请求

Question

我要做个爬虫。对于http请求，我曾经这样做过。

 var http=require('http');
 var options={
   host:'http://www.example.com',
   path:'/foo/example'
 };

 callback=function(response){
 var str='';
 response.on('data',function(chunk){
 str+=chunk;
 });
 response.on('end', function () {
       console.log(str);
 });
 }
 http.request(options, callback).end();

但是我必须为https://example.com/foo/example制作一个爬虫，如果我对https://example.com/foo/example使用相同的爬虫，就会产生这个错误。

 events.js:72
    throw er; // Unhandled 'error' event
          ^
Error: getaddrinfo ENOTFOUND
at errnoException (dns.js:37:11)
at Object.onanswer [as oncomplete] (dns.js:124:16)

Answer 1

我推荐这个优秀的HTTP请求模块：http://unirest.io/nodejs.html

您可以通过以下方式安装它：

安装-g unirest

下面是一些使用Unirest的Node代码示例：

  var url = 'https://somewhere.com/';
  unirest.get(url)
    .end(function(response) {
      var body = response.body;
      // TODO: parse the body
      done();
    });

若要在...so上获取www.purple.com，请执行以下操作：

#!/usr/bin/env node

function getHTML(url, next) {
  var unirest = require('unirest');
  unirest.get(url)
    .end(function(response) {
      var body = response.body;
      if (next) next(body);
    });
}

getHTML('http://purple.com/', function(html) {
  console.log(html);
});