如何以编程方式下载网站资源？

Question

我需要从这个网站下载数据提要：

http://www.oddsportal.com/soccer/argentina/copa-argentina/rosario-central-racing-club-hnmq7gEQ/

在使用开发工具的Chrome中，我找到了这个链接

http://fb.oddsportal.com/feed/match/1-1-hnmq7gEQ-1-2-yj45f.dat

里面包含了我所需要的一切。问题是当我知道第一个链接时，如何以编程的方式(最好是在java中)获得第二个链接。

提前感谢您的帮助。

Answer 1

这与这个问题非常相似。您可以使用它获得一个包含所有源的字符串。然后搜索字符串找出你要找的东西。看上去像这样。

首先启动ChromeDriver并导航到您想要删除的页面。

WebDriver driver = new ChromeDriver();
driver.get("http://www.oddsportal.com/soccer/argentina/copa-argentina/rosario-central-racing-club-hnmq7gEQ/");

然后将源代码下载到一个字符串中。

String scriptToExecute = "var performance = window.performance || window.mozPerformance || window.msPerformance || window.webkitPerformance || {}; var network = performance.getEntries() || {}; return network;";
String netData = ((JavascriptExecutor) driver).executeScript(scriptToExecute).toString();

，最后在字符串中搜索所需的链接。

netData = netData.substring(netData.indexOf("fb.oddsportal"), netData.indexOf(".dat")+4);       
System.out.println(netData);

Answer 2

您可以在Java中使用框架(如JSoup )并刮页。

Document doc = Jsoup.connect("http://en.wikipedia.org/").get();

有了这个之后，您就可以查询该页面上的链接并将它们保存到一个数组中：

Elements links = doc.select("a[href]");

然后运行这个数组并跟随它们的链接。

for (Element link : links) {
   Document doc = Jsoup.connect(link.attr("abs:href")).get();
}