Web抓取实时查询数据

Question

我对网络刮擦很陌生。使用静态内容是相当容易的，但是我想知道是否有一种方法，可以刮一个这样的站点：https://threatmap.checkpoint.com/。

我需要从那个网站抓取所有的现场攻击。但我甚至不知道怎么开始。

Answer 1

有时，您根本不需要刮。

但是深入观察机械。

这个网站使用内置的浏览器获取API。

您只需要从这个源解码：

https://threatmap-api.checkpoint.com/ThreatMap/api/feed

下面是一个示例提取调用：

fetch("https://threatmap-api.checkpoint.com/ThreatMap/api/feed", {
  "headers": {
    "accept": "text/event-stream",
    "accept-language": "en-US,pt;q=0.9,en-US;q=0.8,en;q=0.7",
    "cache-control": "no-cache",
    "sec-ch-ua": "\"Google Chrome\";v=\"89\", \"Chromium\";v=\"89\", \";Not A Brand\";v=\"99\"",
    "sec-ch-ua-mobile": "?0",
    "sec-fetch-dest": "empty",
    "sec-fetch-mode": "cors",
    "sec-fetch-site": "same-site"
  },
  "referrer": "https://threatmap.checkpoint.com/",
  "referrerPolicy": "strict-origin-when-cross-origin",
  "body": null,
  "method": "GET",
  "mode": "cors",
  "credentials": "omit"
});

这是一个示例事件：

{"a_c":1,"a_n":"DNS Enforcement Violation","a_t":"exploit","d_co":"SE","d_la":63.8284,"d_lo":20.2597,"d_s":"AC","s_co":"US","s_lo":-73.9712,"s_la":40.7428,"s_s":"NY","t":null}

这在视觉上似乎意味着：

• 描述: DNS强制执行违规行为
• 种类:剥削
• 目标国家/州: SE/AC - Lat/Lon: 63.8284，20.2597
• 资料来源国/州:美国/纽约-拉特/里昂: 40.7428，-73.9712