在一次面试中，当被问及是否会进行app抓包时，我自信地回答了这个问题，并认为这是我回答得最好的问题之一。今天，我就来分享一下如何搭建app抓包环境。
对于每一个爬虫工程师来说，APP抓包是一个绕不开的话题。我之前也曾写过关于自动参与「抽奖助手」抽奖的文章，其中使用了抓包工具Charles，有兴趣的朋友可以参考之前的文章。
APP抓包的原理
客户端向服务器发起HTTPS请求时，抓包工具会拦截客户端的请求，并伪装成客户端向服务器发起请求。服务器会向客户端（实际上是抓包工具）返回其CA证书。抓包工具会拦截服务器的响应，获取服务器证书的公钥，然后自己生成一张证书，将服务器证书替换后发送给客户端。（在这个步骤中，抓包工具获取了服务器证书的公钥）客户端接收到来自“服务器”（实际上是抓包工具）的证书后，会生成一个对称密钥，并用抓包工具的公钥加密后发送给“服务器”（抓包工具）。抓包工具会拦截客户端的响应，用自己的私钥解密对称密钥，然后用服务器证书的公钥加密后发送给服务器。（在这个步骤中，抓包工具获取了对称密钥）服务器用自己的私钥解密对称密钥，向客户端（抓包工具）发送响应。抓包工具会拦截服务器的响应，替换成自己的证书后发送给客户端。爬虫的本质就是“欺骗”服务器，各种反爬手段都是为了增强信任，让服务器相信你是自己人。如果被反爬了，说明你的“骗术”不够高明，被发现了。
APP数据的抓取难易程度
APP数据的抓取有简单和困难之分，目前我还停留在简单部分，这里简单说一下我的理解（如果有误，请大家包涵）：
简单：
APP的数据比网页端的数据更容易抓取，基本都是HTTP、HTTPS协议，返回的数据格式也相对规整，大多是JSON格式。
困难：
- 需要反编译的知识，需要分析加密算法。
- 需要脱壳+反编译。
- 需要破解各式各样的签名、证书。
因此，一个爬虫工程师需要逐渐掌握以下技能：
- Java编程基础
- Android编程基础
- APP逆向
- APP脱壳
- 破解加密
- ...
从入门到全栈。
常用抓包工具
- Fiddler
- Mitmproxy
- Charles
Fiddler的安装和使用
下载：
https://www.php.cn/link/1b31785397bc74c6ff59451d4f410b71
安装：
一路点击“Next”即可。
主要界面介绍：
会话列表界面：
监控面板：
在点击会话列表界面的某个请求后，会出现以下两个界面：
请求面板：
响应面板：
本地CA证书安装：
点击 Tools - Options - HTTPS - 勾选“Capture HTTPS CONNECTs”，勾选“Decrypt HTTPS trafic”，会弹出安装证书的提示。一路点击“是”或“确定”安装即可。重启Fiddler，点击右侧的Actions，会看到一个下拉菜单，点击“Export Root Certificate to Desktop”，此时证书会生成到桌面上，名为FiddlerRoot.cer，点击“OK”保存。
连接手机抓包需要的配置：
首先设置PC端Fiddler：
之后，手机需要访问本地主机IP + 设置的端口，安装证书。证书安装成功后即可开始抓包。
