首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >将抓取的URL转换为真实URL的最安全方法是什么?

问将抓取的URL转换为真实URL的最安全方法是什么?
EN

Stack Overflow用户
提问于 2014-11-09 09:49:40
回答 2查看 55关注 0票数 0

我抓取了一个网站,在一个页面上找到了这些链接:

代码语言:javascript
复制
index.html
bla.html
/index.html
A.com/test.html
http://wwww.B.com/bla.html

如果我知道当前页面是www.A.com/some/path,我如何有效地将这些链接转换为“真正的Urls”。因此,在每种情况下,urls都应该转换为:

代码语言:javascript
复制
index.html => http://www.A.com/some/path/index.html
bla.html => http://www.A.com/some/path/bla.html
/index.html => http://www.A.com/index.html
A.com/test.html => http://www.A.com/test.html
http://wwww.B.com/bla.html => http://wwww.B.com/bla.html

将这些页面链接转换为完全限定的url名称的最有效方法是什么?

EN

回答 2

Stack Overflow用户

发布于 2014-11-09 09:55:10

使用java.net.URL类:

代码语言:javascript
复制
URL BASE_PATH = new URL("http://www.A.com/some/path");
String RELATIVE_PATH = "index.html";
URL absolute = new URL(BASE_PATH, RELATIVE_PATH);

它将根据基本路径解析相对URL。如果相对URL实际上是一个绝对URL,它将返回它。

票数 1
EN

Stack Overflow用户

发布于 2014-11-09 11:28:37

@Brigham的答案是正确的,但不完整。

问题是,从中抓取URL的页面可能会在<head>中包含<base>元素。这个基本URL可能与从中获取页面的URL有很大不同。

例如:

代码语言:javascript
复制
<!DOCTYPE html> 
<html>
  <head>
    <base href="http://www.example.com/">
    ...
  </head>
  <body>
    ...
  </body>
</html>

在...部分中,任何相对URL都将相对于base URL而不是原始页面URL进行解析。

这意味着如果您想在所有情况下都正确地解析“抓取”的URL,您还需要在“抓取”时查找任何<base>元素。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/26824112

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档