我抓取了一个网站,在一个页面上找到了这些链接:
index.html
bla.html
/index.html
A.com/test.html
http://wwww.B.com/bla.html如果我知道当前页面是www.A.com/some/path,我如何有效地将这些链接转换为“真正的Urls”。因此,在每种情况下,urls都应该转换为:
index.html => http://www.A.com/some/path/index.html
bla.html => http://www.A.com/some/path/bla.html
/index.html => http://www.A.com/index.html
A.com/test.html => http://www.A.com/test.html
http://wwww.B.com/bla.html => http://wwww.B.com/bla.html将这些页面链接转换为完全限定的url名称的最有效方法是什么?
发布于 2014-11-09 09:55:10
使用java.net.URL类:
URL BASE_PATH = new URL("http://www.A.com/some/path");
String RELATIVE_PATH = "index.html";
URL absolute = new URL(BASE_PATH, RELATIVE_PATH);它将根据基本路径解析相对URL。如果相对URL实际上是一个绝对URL,它将返回它。
发布于 2014-11-09 11:28:37
@Brigham的答案是正确的,但不完整。
问题是,从中抓取URL的页面可能会在<head>中包含<base>元素。这个基本URL可能与从中获取页面的URL有很大不同。
例如:
<!DOCTYPE html>
<html>
<head>
<base href="http://www.example.com/">
...
</head>
<body>
...
</body>
</html>在...部分中,任何相对URL都将相对于base URL而不是原始页面URL进行解析。
这意味着如果您想在所有情况下都正确地解析“抓取”的URL,您还需要在“抓取”时查找任何<base>元素。
https://stackoverflow.com/questions/26824112
复制相似问题