如何用Fiddler抓取使用HTTP connect方式的手机应用？

Question

我是网络爬虫的新手，尝试用Fiddler从手机地图应用程序(www.amap.com)中抓取地铁的乘客数据，但我得到了这个HTTP connect方法，它是不可见的。URL旁边有锁的图标，在“响应”中它说：“加密的HTTPS通信流经此连接隧道。在Fiddler中启用了HTTPS解密，因此在此隧道中运行的解密会话将显示在Web会话列表中。”

​

​

我发现了一个解决方案，建议在fiddler中自定义规则可能会有所帮助，所以我遵循并将以下内容添加到其脚本中：

if (oSession.oRequest[‘User- Agent’].IndexOf("Android") > -1 && oSession.HTTPMethodIs("connect")) {
    oSession.oResponse.headers["Connection"]="Keep-Alive";
}

The changes to Fiddler Script

但当然，它不起作用，我已经尝试了iPhone和安卓，并分别更改了脚本中的头文件，但它们都没有帮助。

那么这个应用程序和HTTP连接方法是可爬行的吗？这些数据对我的研究有建设性的帮助，而不是在'amap‘网站上提供，所以它必须通过手机来完成。

Answer 1

如果您在Fiddler中启用了HTTPS解密，但您看到(大多数)只有连接请求，这意味着设备上的应用程序尝试打开连接，但不信任Fiddler根证书。

如果你尝试在设备上使用应用程序，你会注意到目前没有可用的网络连接(请求不起作用，因为应用程序不接受Fiddler创建的服务器证书)。

在Android设备上，从Andorid6开始，您需要root权限才能安装Fiddler rot证书，或者，如果您想要监控单个应用程序，您可以尝试修改该应用程序并重新签名。所有细节都在这个问题和答案中描述：Some androids apps won't connect through fiddler