Mitmproxy使用

一、简介

  • Mitmproxy是一款开源、免费的代理工具,支持Mac、Windows、Linux。

  • 相比其他代理工具,可以通过Python和Mitmproxy工具本身的插件机制,实现通过脚本对Mitmproxy的完全控制。

  • 强大的可拓展性和可定制性,可以让测试工程师以Mitmproxy工具为基础,进行二次开发,打造更适合自己业务的mock工具。

  • 官网:https://mitmproxy.org/

二、操作步骤

2.1 安装

  • Mitmproxy是一款跨平台工具,支持在Mac、Windows、Linux平台进行安装。

  • 最推荐的安装方式,是直接通过Python安装:

  • 验证是否安装成功:

    • mitmdump --version
    • 如果返回如下信息,则安装成功:
Mitmproxy: 5.2
Python:    3.8.7
OpenSSL:   OpenSSL 1.1.1g  21 Apr 2020
Platform:  macOS-10.15-x86_64-i386-64bit

2.2 证书配置

  • mitmproxy 的证书配置过程与 charles 类似
  1. pc 端证书

(1)配置电脑代理,ip 配置 127.0.0.1 ,端口配置为 mitmproxy 监听端口,默认 8080
(2)启动 mitmprxy
(3)在浏览器输入地址 mitm.it,显示效果如果和下图相同,证明前面的步骤都成功了 mitmporxy

(4)选择对应系统下载证书并安装。
(5)信任证书:打开证书(Mac 系统为钥匙串访问)->点击证书->双击名称含有 charles 的选项->点击信任->选择始终信任。

  1. windows 证书信任
    image

  2. 手机端证书(安卓系统)

(1)在手机配置代理,ip 配置为电脑的 ip 地址,端口配置为 mitmproxy 监听端口,默认 8080。
(2)启动 mitmprxy。
(3)在手机浏览器输入地址 mitm.it。
(4)选择 Android,下载并安装,即可成功抓取手机端的 https 的数据包。

2.3 三大核心工具

  • Mitmproxy的三大核心工具,分别为mitmproxy、mitmdump、mitmweb。
  • Mitmdump是Mitmproxy相比于其他代理工具,最独一无二的部分。
  1. mitmproxy
  • 是一款交互式的命令行工具,通过命令mitmproxy启动,需要注意的是 mitmproxy 不支持 windows 系统。下图为 mitmproxy 启动后的效果图:
  1. mitmweb
  • 在 mitmweb 的图形界面中使用 mitmproxy 的主要功能,通过命令mitmweb启动。它和 Chrome 开发者工具中的 network 比较类似。下图为 mitmweb 启动后的效果图:
  1. mitmdump
  • 用 mitmdump 编写强大的插件和脚本。 mitmproxy 脚本 API 提供了对 mitmproxy 的完全控制,可以自动修改消息、重定向流量、可视化消息或实现自定义命令。后面会通过实战具体介绍 mitmdump 的使用。

2.4 Mitmdump实战

  1. 命令
  • mitmdump 可以通过参数 -s 实现执行 python 脚本

  • 通过下面这个示例每次再发起请求时都要打印 “this is a demo”

mitm_demo.py:

from mitmproxy import http

def request(flow: http.HTTPFlow):
    #每次请求时都打印 this is a demo
    print("this is a demo")
  • 通过命令 mitmdump 执行 python 脚本:
    mitmdump -s ./mitm_demo.py

执行效果:

Loading script ./mitm_demo.py
Proxy server listening at http://*:8080
127.0.0.1:53741: clientconnect
127.0.0.1:53758: clientconnect
127.0.0.1:53759: clientconnect
127.0.0.1:53760: clientconnect
this is a demo
127.0.0.1:53758: Connection killed
127.0.0.1:53758: clientdisconnect
this is a demo
127.0.0.1:53759: Connection killed
127.0.0.1:53759: clientdisconnect
  1. 插件
  • mitmproxy 是通过变量addons,将一个类的实例与 mitmproxy 进行关联的。通过插件机制,可以指定在脚本运行中,与 mitmproxy 直接相关的实例。

mitm_addon.py:

from mitmproxy import ctx


class Counter:
    def __init__(self):
        self.num = 0

    def request(self, flow):
        self.num = self.num + 1
        ctx.log.info("We've seen %d flows" % self.num)

addons = [
    Counter()
]
  • 有几点需要注意的是:
    • Mitmproxy 是通过 addons 这个全局变量获取以及加载插件组件。
    • 每个插件都是一个实例对象,比如上面例子中的Counter()。
    • 方法 requests 是一个事件的示例。在后面会有关于事件的具体介绍。
    • 这个插件实现了在每一次请求的时候打印累计的请求 flow 数据。

执行命令:
mitmdump -s ./mitm_demo.py

展示效果:

127.0.0.1:49625: clientconnect
We've seen 9 flows
127.0.0.1:49600: GET https://www.baidu.com/content-search.xml
              << 200 OK 220b
We've seen 10 flows
127.0.0.1:49599: GET https://www.baidu.com/home/xman/data/tipspluslist?indextype=manht&_req_seqid=0xaf491b1700068f01&asyn=1&t=1618453717212&sid=33811_33816_33745_33344_31253_33849_33758_26350_22158
              << 200 OK 78b
  1. 事件
  • mitmproxy 有多个事件, 每个函数或方法代表一个事件,指每一次请求响应的过程中,都会自动调用相关的方法。每一个方法的名称都是 mitmproxy 约定好的,都代表了 flow 的不同过程。

  • 许多事件通过参数接收一个 flow 对象,通过修改这些对象,插件就可以即时改变流量。

import mitmproxy.http
class Events:

    def request(self, flow: mitmproxy.http.HTTPFlow):
        """
            每次http发起请求之后会调用这个方法
        """


    def response(self, flow: mitmproxy.http.HTTPFlow):
        """
            每次http返回响应之后会调用这个方法
        """
  1. mitmproxy 实现 map local
  • 创建一个本地文件,响应数据设定为
{ "status": "success" }
  • 编写脚本,在请求事件中,给响应对象赋值为设定的模拟值

mitm_map_local.py

import json

from mitmproxy import ctx, http

class Counter:
    def __init__(self):
        self.num = 0

    def request(self, flow):
        if "https://httpbin.testing-studio.com/get" in flow.request.pretty_url:
            # 打开文件,读取文件数据,作为响应,给返回
            with open("./res.json", encoding="utf-8") as f:
                # 给flow.response属性进行赋值,
                # 赋值调用mitmproxy 响应对象的 make方法
                # 响应体在make函数里面所需要的数据为str
                flow.response = http.HTTPResponse.make\
                    (200,  # (optional) status code
                    f.read(),  # (optional) content
                {"Content-Type": "text/html"}  # (optional) headers
                    )

addons = [
    Counter()
]
  • 通过命令执行 python 脚本:
    mitmdump -s ./mitm_map_local.py

  • 浏览器访问:
    https://httpbin.testing-studio.com/get

    • 响应结果如图所示,成功实现 map local:
      https://httpbin.testing-studio.com/get
      image