首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Python Selenium web抓取driver.get在动态网站上不返回

问Python Selenium web抓取driver.get在动态网站上不返回
EN

Stack Overflow用户
提问于 2021-01-28 21:41:57
回答 1查看 113关注 0票数 0

我正在尝试在ITRA网站上获取跑步者的统计数据。例如,我将访问以下URL,然后将表内容放入pandas数据帧中。

网址:https://itra.run/runners/583078-kris-brown

表:文本"ITRA Performance Index“下的表

我使用python 3.6 + Selenium来完成这项工作。

代码语言:javascript
复制
from selenium import webdriver
..
..
driver.get('https://itra.run/runners/583078-kris-brown') <--- wait indefinitely

当我在本地计算机上测试时,一切都很好。然而,当我将其移动到AWS Lambda时,driver.get无限期地等待并最终超时。

接下来,我将URL更改为https://www.google.com,在Lambda上运行的driver.get可以毫无问题地为我获取html页面源代码。所以,代码没有问题,唯一的问题是ITRA的网站。有什么东西阻止了我的selenium driver.get。

接下来,我尝试使用urllib.request再次访问ITRA页面。

代码语言:javascript
复制
from urllib.request import urlopen
page = urlopen('https://itra.run/runners/583078-kris-brown')

这一次,我知道这实际上是一个动态网页。因为我看到有很多脚本html代码。

我可以知道如何完全加载动态网页并获取表格数据吗?

​

代码语言:javascript
复制
<!DOCTYPE html>
<html lang="en">
<head>
<title> - ITRA</title> 
<meta charset="utf-8">
<meta name="csrf-token" content="e32JYo0XlGGc4Hick6nlmC52cB4f7NPm82vzrafh">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<meta name="viewport" content="width=device-width, initial-scale=1">
<style> textarea { resize: none; } </style>
<style>
.twitter-typeahead,
.tt-hint,
.tt-input,
.tt-menu{
width: auto ! important;
font-weight: normal;
}
</style>
<link href="https://fonts.googleapis.com/css?family=Nunito:200,600" rel="stylesheet">
<link rel="stylesheet" href="/css/pricing.css">
<link rel="stylesheet" href="/css/composants.css">
<link rel="stylesheet" href="/css/leaflet.css">
<script src="https://code.jquery.com/jquery-3.4.1.min.js" ></script>
<link rel="stylesheet" href="https://cdn.jsdelivr.net/gh/openlayers/openlayers.github.io@master/en/v6.2.1/css/ol.css">
<script src="https://www.google.com/recaptcha/api.js?onload=vueRecaptchaApiLoaded&render=explicit" async defer></script>
<script src="https://cdn.jsdelivr.net/gh/openlayers/openlayers.github.io@master/en/v6.2.1/build/ol.js"></script>
</head>
<body>
<div id="app">
<navbar></navbar>
<socialnetworksitra></socialnetworksitra>
<div >
<app></app>
</div>
<footercomponent></footercomponent>
</div>
<script src="/js/app.js?id=7223b0415ef9ffa136e5"></script>
<script src="https://unpkg.com/vue-recaptcha@latest/dist/vue-recaptcha.js"></script>
<script src="https://unpkg.com/vue-recaptcha@latest/dist/vue-recaptcha.min.js"></script>
<!-- Google Analytics -->
<script>
(function(i,s,o,g,r,a,m){i['GoogleAnalyticsObject']=r;i[r]=i[r]||function(){
(i[r].q=i[r].q||[]).push(arguments)},i[r].l=1*new Date();a=s.createElement(o),
m=s.getElementsByTagName(o)[0];a.async=1;a.src=g;m.parentNode.insertBefore(a,m)
})(window,document,'script','https://www.google-analytics.com/analytics.js','ga');
ga('create', 'UA-4373731-16', 'auto');
ga('send', 'pageview');
</script>
<!-- End Google Analytics -->
<!-- facebook connect -->
<script>
window.fbAsyncInit = function() {
FB.init({
appId      : '{your-app-id}',
cookie     : true,
xfbml      : true,
version    : '{api-version}'
});
FB.AppEvents.logPageView();   
};
(function(d, s, id){
var js, fjs = d.getElementsByTagName(s)[0];
if (d.getElementById(id)) {return;}
js = d.createElement(s); js.id = id;
js.src = "https://connect.facebook.net/en_US/sdk.js";
fjs.parentNode.insertBefore(js, fjs);
}(document, 'script', 'facebook-jssdk'));
</script>
<div id="fb-root"></div>
<script async defer crossorigin="anonymous" src="https://connect.facebook.net/fr_FR/sdk.js#xfbml=1&version=v6.0&appId=296638871419734&autoLogAppEvents=1"></script>
<script type="text/javascript">
// create a js variable to hold the APP_ENV variable from php 
const env = 'production';
// Disable console log on production
if (env === 'production') {
console.log = function () 
{}
;
}
jQuery(document).ready(function() {
$(".more").hide();
jQuery('.button-read-more').click(function () {
// one at a time
$('.more').hide();
$('.less').removeClass('active');
$(this).closest('.less').addClass('active');
$(this).closest(".less").next().stop(true).slideDown("1000");
});
jQuery('.button-read-less').click(function () {
$(this).closest('.less').removeClass('active');
$(this).closest(".less").next().stop(true).slideUp("1000");
});
});
</script>
</body>
</html>

​

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2021-01-28 22:12:41

从网站获取动态内容的方法之一是当你按下F12时,在chrome的网络选项卡上检查XHR请求。您应该在执行任何更改数据的操作时选中此选项。

XHR请求主要是使用GET/POST请求从服务器获取数据REST API调用。输出将是html或JSON响应。

从XHR请求中,您可以看到表单数据、URL和输出。您可以使用POSTMAN对其进行测试,然后使用python请求模块进行GET/POST调用。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/65938280

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档