如何在python中通过机械化来机械化返回页面中的urls？

Question

我正在做一个项目，使基于网络的代理使用python和机械化。我有一个问题:机械化返回的页面，有未机械化的URLS，如果用户点击它，他们将通过他们自己的计算机的ip (而不是我的代码安装在上面的服务器)通过链接。有什么办法可以解决这个问题吗？

Answer 1

您可以重写urls，方法是使用lxml、漂亮的汤等解析HTML，然后重写它们，并在将其发送给用户之前将DOM重新转储为字符串。或者通过搜索具有正则表达式的URL，并返回重写的HTML。

请记住，用javascript等生成的链接正确地做这件事几乎是不可能的。

这就是人们使用代理服务器的原因。