Qubole:如何在python中下载调度程序结果？

Question

像title一样，我设法使用python中的查询ID下载Qubole结果，但是，有没有一种方法可以使用调度程序作业id而不是查询ID来下载结果？

谢谢。

Answer 1

可以使用名为requests的python包访问Scheduler API

我仍然不确定我的代码是否使用了python的最佳实践，因为我仍然使用硬编码的短语per_page=1000000，它将在每个请求的每个页面获得1000000个结果

url = 'https://api.qubole.com/api/v1.2/scheduler/{}/actions?per_page=1000000'.format(id)
headers = {'content-type': 'application/json', 'X-AUTH-TOKEN': '<YOUR-TOKEN>'}
r = requests.get(url, headers=headers).json()

json_object=[json.dumps(r.get('actions'))]
jsonRDD = sc.parallelize(json_object)
df = spark.read.json(jsonRDD)

调度程序的结果应该在列command.status上