使用请求安全地处理潜在的恶意URL

Question

我正在建立一个工具来分析电子邮件，试图确定他们是否在网络钓鱼，我想看看在电子邮件中的任何链接重定向，以及他们是否做了多少次，地点。我目前正在使用请求库来处理所有这些内容，为了获得链接的历史记录，您必须调用.get()。这对潜在的恶意URL安全吗?如果没有，我是否可以在不危及计算机的情况下获得重定向信息？

Answer 1

您可以使用allow_redirects=True发送HEAD请求

>>> url = "http://stackoverflow.com/q/57298432/7954504"
>>> resp = requests.request(
...     "HEAD",
...     url,
...     allow_redirects=True
... )
>>> resp.history
[<Response [301]>, <Response [302]>]
>>> [i.url for i in resp.history]
['http://stackoverflow.com/q/57298432/7954504', 'https://stackoverflow.com/q/57298432/7954504']

不是说这是万灵药。其他需要考虑的是在URL本身上添加一些启发式方法，其精神是“当您看到URL时，您知道一个难看的URL。”(我喜欢yarl来分析URL。)例如：

• 文件扩展名是什么？
• URl是否使用非标准端口？
• 域是IPv4 4/6地址还是本地主机？
• 任何查询参数值本身都是有效的URL吗？

...and等。