从零开始学 Mitmproxy 抓包工具

mitm是Man In The Middle的首字母缩写,意思是位于中间的人,表明mitmproxy是一个代理,可以拦截请求,实现网络抓包。
首页 新闻资讯 行业资讯 从零开始学 Mitmproxy 抓包工具

本文转载自微信公众号「测试开发刚哥」,作者dongfanger 。转载本文请联系测试开发刚哥公众号。

Man In The Middle

mitm是Man In The Middle的首字母缩写,意思是位于中间的人,表明mitmproxy是一个代理,可以拦截请求,实现网络抓包。知名的网络抓包工具有Fiddler、Charles、HttpWatch、WireShark、BurpSuite和Postman等,mitmproxy相对来说,没有这么高的知名度,它相比于以上工具的独特优势是,它提供了Python API,可以编写Python代码对网络请求进行流量录制,从而收集接口信息以及转化为接口自动化用例等。mitmproxy官方文档不但有mitmproxy工具使用介绍,还有代理实现原理,对我们学习掌握网络知识有很大帮助。

安装与使用

pip安装

复制

pip install mitmproxy
  • 1.

mitmproxy是Python开发的,用pip就能安装成功。官方给出了二进制安装包等方法,我觉得作为一款用Python开发的工具,用pip直接安装是更Pythonic的。

命令启动

可以通过3种命令启动mitmproxy:

  • mitmproxy 控制台

37141af32249985974d69659d7c89bfb02f779.webp

  • mitmweb 网页

c7e39140257e29e9be7486573916f44515ada6.webp

  • mitmdump 命令行

它们的内容都是一样的,只是UI不一样而已。

手动设置代理

打开以后mitmproxy默认会监听http://localhost:8080,需要设置下代理,把代理服务器设置为这个地址。

Windows可以这样设置:

c914615961c69b62920816eba946b85a9235dd.webp

设置后一定要记得点击保存按钮,否则代理不会生效。

实际上,Charles等网络抓包工具会自动配置代理,而mitmproxy需要手动设置代理,开发团队的解释是因为浏览器版本和配置经常会变化,所以他们建议在网上根据环境搜索方法手动设置。

下载证书

访问http://mitm.it/,如果代理配置没有生效,打开后会是这个界面:

b74285503f8a113d922226b79494bd25d98991.webp

正常的话,会出现证书下载页面:

76ba0f725fe81a7138a0575f5f1b760fed52c4.webp

根据平台选择相应证书安装就OK了。

使用

mitmproxy更其他抓包工具用法类似。

官方用视频演示了mitmproxy如何使用:

https://docs.mitmproxy.org/stable/mitmproxytutorial-userinterface/

并且介绍了5种运行模式:

https://docs.mitmproxy.org/stable/concepts-modes/

读者可以自行阅读下。

mitmproxy工作原理

76c45c061f5b5ef3b53830c5be9f731957b929.webp

  • 客户端(本机)连接代理服务器(http://127.0.0.1:8080),代理服务器连接服务器。

  • 客户端给代理服务器发请求,代理服务器把请求发送到服务器。

所有请求经过mitmproxy,就可以实现请求拦截。

对于HTTP来说,直接借助mitmproxy传递请求就可以。而对于HTTPS来说,有个SSL/TLS安全认证,必须安装证书,服务器才会认为mitmproxy的请求是可信任的,请求才会成功传递。

07aa6f4213ecd900f53561a6ceee0538effe7e.webp

HTTPS的代理过程就要复杂很多,客户端先跟mitmproxy建立连接(12步),然后进行安全认证(36步),最后传递请求(7~8步)。

反向代理

假设在本机使用FastAPI启动了个Mock服务,地址为http://127.0.0.1:5000,通过Postman调接口,怎么使用mitmproxy来拦截请求呢?这就需要用到反向代理。

首先以反向代理模式运行mitmproxy,服务器端口为5000,监听端口为8000:

复制

mitmproxy --mode reverse:http://127.0.0.1:5000 --listen-host 127.0.0.1 --listen-port 8000
  • 1.

然后把请求http://127.0.0.1:5000/login里面的5000端口改成8000,访问:

http://127.0.0.1:8000/login

就能在mitmproxy看到抓到请求了:

435e11804a58e8ebd0963321ba15e2438d3345.webp

这样就能在本地使用Mock服务来调试拦截请求的Python代码了。

反向代理,不需要在本机手动设置代理。

Python API

Python API是mitmproxy的特色功能:

64e24c775f2475472dd7473bb5b75a6c8a51b5.webp

能够在Python代码中对拦截的请求进行处理。

addons提供了很多hook函数,比如request:

复制

"""Basic skeleton of a mitmproxy addon.Run as follows: mitmproxy -s anatomy.py"""from mitmproxy import ctx


class Counter:def __init__(self):self.num = 0def request(self, flow):self.num = self.num + 1ctx.log.info("We've seen %d flows" % self.num)addons = [Counter()]
  • 1.

  • 2.

  • 3.

  • 4.

  • 5.

  • 6.

  • 7.

  • 8.

  • 9.

  • 10.

  • 11.

  • 12.

  • 13.

  • 14.

  • 15.

  • 16.

  • 17.

  • 18.

  • 19.

  • 20.

response:

复制

"""Add an HTTP header to each response."""class AddHeader:def __init__(self):self.num = 0def response(self, flow):self.num = self.num + 1flow.response.headers["count"] = str(self.num)addons = [AddHeader()]
  • 1.

  • 2.

  • 3.

  • 4.

  • 5.

  • 6.

  • 7.

  • 8.

  • 9.

  • 10.

  • 11.

  • 12.

  • 13.

  • 14.

  • 15.

启动时加上-s参数指定脚本:

复制

mitmdump -s ./anatomy.py
  • 1.

代码就会在请求拦截时生效了。

更多hook函数请参考官方说明:

https://docs.mitmproxy.org/stable/api/events.html

这里就不再详细说明了。

而关于如何使用mitmproxy录制流量自动生成自动化用例的部分,我会开发完成后集成到tep新版本中,届时再做介绍,敬请期待。

参考资料:

mitmproxy官方文档 https://docs.mitmproxy.org/stable/


19    2022-02-16 22:57:57    Mitmproxy 抓包 工具