Cheerio Scrape如何在网络抓取中进行抓取

Question

我有一个特定的页面，我已经从其中抓取了一些数据，但为了收集更多信息，我需要使用另一个href链接来收集该特定项目的更多数据，但我不知道如何收集。

这是我到目前为止所知道的：

       router.get("/:id",function(req,res){
       var url = "www.someurl.com"

       request(url, function (error, response, html){
       if (!error && response.statusCode == 200){
        $ = cheerio.load(html);

       $('div.ProductDetails').each(function(){// function for details
          var self = this;
          var a = $(this).children().children();
          details = a.attr('href');

          details = {
          details:details
      };

这给了我一个到详细信息部分的链接，以及实际的详细信息。我只想知道如何在刮痕中做刮痕。

Answer 1

与第一次一样，details.details是<a>标记中的url。

因此您需要向该url发出请求

request(details.details, function(err, res, html) { /* code */ })

然后使用cheerio来提取数据。