python杂乱无章的足球数据

Question

我正在尝试学习如何在python中使用scrappy；我不熟悉css。

我正在尝试废弃的网站：https://fantasydata.com/nfl-stats/point-spreads-and-odds?season=2018&seasontype=1&week=17

因此，当我复制日期的选择器时，结果如下：

stats_grid >div.k-grid-content.k-自动滚动>表格>正文>tr:第n个子节点(1)>td:第n个子节点(1)>跨度

当我通过执行以下操作启动scrappy模块时: python shell "url“

然后输入选择器(‘response.css here')

我没有得到任何结果！

如何检索日期信息？

感谢您阅读这封邮件！

Answer 1

所以这里的问题是，当scrappy收到页面响应时，您试图抓取的数据不可用。

如果您在页面加载时打开了浏览器的开发人员控制台，请查看此URL的网络选项卡上的XHR请求：

https://fantasydata.com/NFLTeamStats/Odds_Read

如果您检查它的有效负载，您会发现它包含的正是您试图抓取的数据。换句话说，它是在初始页面加载之后通过HTTP fetch从站点的应用程序加载的。

所以，当你使用webscaper (如scrappy)时，你无法看到这种类型的数据。你实际上只得到了初始的页面模板，之后javascript加载的任何东西都是不可用的。

如果你正在寻找一般的NFL和幻想相关的统计数据，有一款名为FFDB的应用程序可以让你轻松地使用它的引擎创建数据库：

FFDB Github Repository

免责声明:我是该应用程序的作者。

最后要注意的是，css标记与此问题无关。scraping或webscrape标记更合适。

祝你好运！