Mars 2020 Web抓取

Question

我正在尝试从“坚持不懈的火星天气报告”(https://mars.nasa.gov/mars2020/weather/)中获取数据。但是，当我尝试抓取时，例如，火星日期，它返回一个列表中的无项。如下所示：

import requests
from bs4 import BeautifulSoup as soup

html = requests.get('https://mars.nasa.gov/mars2020/weather/')
html.status_code

marsDat= []

for date in bsobj.findAll('span', {'class':'marsDate'}):
    marsDat.append(date.text.strip())
    
print(marsDat)
#returns: ['']

有人能给我点提示吗？这是因为我们不能在这个网站上做网络抓取吗？

Answer 1

您看到的数据是从外部URL加载的。要打印当前的Mars日期，您可以执行以下操作：

import json
import requests

url = "https://mars.nasa.gov/rss/api/?feed=weather&category=mars2020&feedtype=json"
data = requests.get(url).json()

# uncomment to print all data:
# print(json.dumps(data, indent=4))

max_sol = max(data["sols"], key=lambda k: int(k["sol"]))
print(max_sol["sol"])

打印：

62