我正在尝试在ITRA网站上获取跑步者的统计数据。例如,我将访问以下URL,然后将表内容放入pandas数据帧中。
网址:https://itra.run/runners/583078-kris-brown
表:文本"ITRA Performance Index“下的表
我使用python 3.6 + Selenium来完成这项工作。
from selenium import webdriver
..
..
driver.get('https://itra.run/runners/583078-kris-brown') <--- wait indefinitely当我在本地计算机上测试时,一切都很好。然而,当我将其移动到AWS Lambda时,driver.get无限期地等待并最终超时。
接下来,我将URL更改为https://www.google.com,在Lambda上运行的driver.get可以毫无问题地为我获取html页面源代码。所以,代码没有问题,唯一的问题是ITRA的网站。有什么东西阻止了我的selenium driver.get。
接下来,我尝试使用urllib.request再次访问ITRA页面。
from urllib.request import urlopen
page = urlopen('https://itra.run/runners/583078-kris-brown')这一次,我知道这实际上是一个动态网页。因为我看到有很多脚本html代码。
我可以知道如何完全加载动态网页并获取表格数据吗?
<!DOCTYPE html>
<html lang="en">
<head>
<title> - ITRA</title>
<meta charset="utf-8">
<meta name="csrf-token" content="e32JYo0XlGGc4Hick6nlmC52cB4f7NPm82vzrafh">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<meta name="viewport" content="width=device-width, initial-scale=1">
<style> textarea { resize: none; } </style>
<style>
.twitter-typeahead,
.tt-hint,
.tt-input,
.tt-menu{
width: auto ! important;
font-weight: normal;
}
</style>
<link href="https://fonts.googleapis.com/css?family=Nunito:200,600" rel="stylesheet">
<link rel="stylesheet" href="/css/pricing.css">
<link rel="stylesheet" href="/css/composants.css">
<link rel="stylesheet" href="/css/leaflet.css">
<script src="https://code.jquery.com/jquery-3.4.1.min.js" ></script>
<link rel="stylesheet" href="https://cdn.jsdelivr.net/gh/openlayers/openlayers.github.io@master/en/v6.2.1/css/ol.css">
<script src="https://www.google.com/recaptcha/api.js?onload=vueRecaptchaApiLoaded&render=explicit" async defer></script>
<script src="https://cdn.jsdelivr.net/gh/openlayers/openlayers.github.io@master/en/v6.2.1/build/ol.js"></script>
</head>
<body>
<div id="app">
<navbar></navbar>
<socialnetworksitra></socialnetworksitra>
<div >
<app></app>
</div>
<footercomponent></footercomponent>
</div>
<script src="/js/app.js?id=7223b0415ef9ffa136e5"></script>
<script src="https://unpkg.com/vue-recaptcha@latest/dist/vue-recaptcha.js"></script>
<script src="https://unpkg.com/vue-recaptcha@latest/dist/vue-recaptcha.min.js"></script>
<!-- Google Analytics -->
<script>
(function(i,s,o,g,r,a,m){i['GoogleAnalyticsObject']=r;i[r]=i[r]||function(){
(i[r].q=i[r].q||[]).push(arguments)},i[r].l=1*new Date();a=s.createElement(o),
m=s.getElementsByTagName(o)[0];a.async=1;a.src=g;m.parentNode.insertBefore(a,m)
})(window,document,'script','https://www.google-analytics.com/analytics.js','ga');
ga('create', 'UA-4373731-16', 'auto');
ga('send', 'pageview');
</script>
<!-- End Google Analytics -->
<!-- facebook connect -->
<script>
window.fbAsyncInit = function() {
FB.init({
appId : '{your-app-id}',
cookie : true,
xfbml : true,
version : '{api-version}'
});
FB.AppEvents.logPageView();
};
(function(d, s, id){
var js, fjs = d.getElementsByTagName(s)[0];
if (d.getElementById(id)) {return;}
js = d.createElement(s); js.id = id;
js.src = "https://connect.facebook.net/en_US/sdk.js";
fjs.parentNode.insertBefore(js, fjs);
}(document, 'script', 'facebook-jssdk'));
</script>
<div id="fb-root"></div>
<script async defer crossorigin="anonymous" src="https://connect.facebook.net/fr_FR/sdk.js#xfbml=1&version=v6.0&appId=296638871419734&autoLogAppEvents=1"></script>
<script type="text/javascript">
// create a js variable to hold the APP_ENV variable from php
const env = 'production';
// Disable console log on production
if (env === 'production') {
console.log = function ()
{}
;
}
jQuery(document).ready(function() {
$(".more").hide();
jQuery('.button-read-more').click(function () {
// one at a time
$('.more').hide();
$('.less').removeClass('active');
$(this).closest('.less').addClass('active');
$(this).closest(".less").next().stop(true).slideDown("1000");
});
jQuery('.button-read-less').click(function () {
$(this).closest('.less').removeClass('active');
$(this).closest(".less").next().stop(true).slideUp("1000");
});
});
</script>
</body>
</html>
发布于 2021-01-28 22:12:41
从网站获取动态内容的方法之一是当你按下F12时,在chrome的网络选项卡上检查XHR请求。您应该在执行任何更改数据的操作时选中此选项。
XHR请求主要是使用GET/POST请求从服务器获取数据REST API调用。输出将是html或JSON响应。
从XHR请求中,您可以看到表单数据、URL和输出。您可以使用POSTMAN对其进行测试,然后使用python请求模块进行GET/POST调用。
https://stackoverflow.com/questions/65938280
复制相似问题