捕获和分析流量

Question

有几个网站为我提供了重要的数据，但没有API函数来检索这些数据。我想得到这些信息，而且我还想创建我自己的API。

第一个问题是，这些网站在登录页面后存储数据，所以我必须进入那里，然后才能检索到这些数据。

应该指出的是，网站使用JS检索数据并将查询发回，还有SSL协议，所以所有的流量都是加密的。

我的想法是

1. 用Wireshark捕获流量。
2. 破译它。
3. 仔细看看包裹。
4. 这就是问题所在。有什么工具可以重建TCP会话吗？

最后。我是否可以创建某种API来伪造TCP会话，而web服务器将将此会话标识为具有真正浏览器的会话，否则这是不可能的。我读过有关selenium的文章，但是它需要太多的系统资源。

Answer 1

从浏览器开发工具中读取数据比较容易。它们允许您查看完整的请求数据和响应。

然后，为了模拟浏览器，您只需要发送一个类似的请求，使用相同的cookie和用户代理，并且与真正的浏览器没有任何区别。

在现代浏览器(如Firefox或Chrome)中，您可以转到developer tools上的Network选项卡，并将请求导出为curl命令，以便以后可以从命令行发送相同的请求。