Настройка фидлера для андроид

Русские Блоги

Руководство по настройке захвата пакетов мобильного телефона с помощью Fiddler, Charles и mitmproxy

При написании поискового робота некоторые данные на стороне ПК не могут предоставить нужные нам данные, например Douyin, поэтому нам необходимо ввести данные на мобильном телефоне. Line Grabbing, в настоящее время наиболее часто используемое программное обеспечение для захвата приложений: Fiddler, mitmproxy, Charles, это программное обеспечение должно выполнить соответствующую конфигурацию прокси-сервера перед захватом пакета данных: загрузите, убедитесь, что ПК-терминал и мобильный терминал находятся в одной локальной сети, Загрузка сертификата, настройка порта и т. Д.

Используйте метод настройки прокси-сервера Fiddler

Сначала загрузите Fiddler с официального сайта, адрес загрузки: http://www.telerik.com/fiddler; после загрузки локально выполните обычный процесс установки. Страница, открытая после установки, выглядит следующим образом:

Fiddler захватывает пакеты данных Android / Iphone, Первый шаг — убедиться, что компьютерный терминал, мобильный терминал Fiddler и компьютерный терминал находятся в одной и той же локальной сети. В этом случае Fiddler может захватывать данные мобильного терминала; Локальная сеть — это сеть, к которой подключено два или более устройств и которая имеет один и тот же сегмент IP-сети. Например, ПК и мобильный телефон подключены к одному и тому же Wi-Fi, или компьютер открывает точку доступа и подключение мобильного телефона.

Второй шаг — настроить Fiddler: откройте [Fiddler -> Tools -> options]; затем выберите опцию [Connections]. На рисунке установите порт сервера, который требуется мобильному телефону для подключения к Fiddler (обычно по умолчанию) Следующие параметры [[Разрешить удаленным компьютерам подключаться] (Разрешить удаленным компьютерам подключаться) для проверки.

Откройте [Fiddler -> Инструменты -> параметры]; выберите параметр HTTPS, установите флажок [Расшифровать трафик HTTPS] и выберите вариант [из всех процессов] ниже, чтобы захватывать запросы https на мобильном телефоне. Если вы хотите захватывать запросы https, вы Также необходимо авторизоваться на мобильном телефоне. Установите сертификат безопасности в конце.

Третий шаг — установить сертификат на мобильный телефон. Сначала найдите IP-адрес компьютера. Нажмите «Интернет» в строке меню над скриптом, чтобы увидеть IP-адрес компьютера; используйте мобильный телефон для доступа к адресу: http: // IP-адрес: порт прокси, нажмите «FiddlerRoot certificate» и затем установите сертификат, например:http://192.168.1.173:8888; на некоторых мобильных телефонах необходимо установить пароль экрана блокировки (например, Xiaomi) перед установкой сертификата, иначе установка не удастся.

Следующим шагом является изменение настроек прокси для Wi-Fi на мобильном телефоне; откройте Wi-Fi в соединении, нажмите переключатель прокси ниже, чтобы переключиться в ручной режим, введите ip на стороне компьютера как имя хоста и порт как порт, установленный Fiddler, а затем нажмите OK.

Результат успешной настройки выглядит следующим образом:

Использование метода настройки прокси Charles

Официальный адрес загрузки Charles: https://www.charlesproxy.com/; загрузите Charles, затем выполните установку в один клик, страница, которая открывается после загрузки, выглядит следующим образом: страница разделена на два типа тегов, один — это структура, которая различается по доменному имени; один — это последовательность, которая отсортирована по времени доступа:

Сначала настройте программное обеспечение Charles, откройте клиент, щелкните меню Прокси-> Параметры прокси, установите порт сервера, вы также можете изменить порт, проверьте следующее [Включить прозрачное HTTP-проксирование], чтобы позволить Чарльзу установить себя в качестве прокси Сервер реализует захват пакетов, и все запросы доступа, отправленные локальной системой, будут перехвачены. Если вы используете Charles только для захвата мобильного телефона, вам не нужно проверять проксирование Windows в меню, чтобы избежать вмешательства со стороны ПК для запроса данных.

Как и в Fiddle, вам необходимо настроить компьютер и мобильный телефон в одной локальной сети; после получения порта Charles вам также необходимо получить IP-адрес компьютера. Метод запроса IP-адреса компьютера: windows + R Введите cmd-карту чтобы открыть командную строку, а затем введите ipconfig, IPv4 — это IP-адрес этого компьютера.

Измените прокси и порт WiFi на мобильном телефоне:

У некоторых небольших партнеров может появиться сообщение «Wi-Fi подключен, но не может получить доступ к Интернету» на мобильном телефоне после успешной настройки. В это время вы можете сначала преобразовать прокси-сервер Wi-Fi в [Нет], а затем отключить и снова подключить Wi-Fi. Когда Wi-Fi можно использовать в обычном режиме, измените прокси-сервер Wi-Fi, измените основное имя и сохраните порт, тогда мобильный телефон сможет получить доступ к сети в обычном режиме.

Обратите внимание на друзей, которые используют win10. Лучше всего отключить брандмауэр перед настройкой. После успешной настройки страница Charles будет выглядеть, как показано ниже:

Чтобы избежать искажения или сбоя при захвате данных http на локальном или мобильном терминале, вам необходимо соответствующим образом настроить сертификат SSL.И компьютерный терминал, и мобильный терминал должны быть настроены соответствующим образом.

Установите сертификат на компьютер, откройте клиент Charles и выберите меню [«Справка» -> «SSL-прокси» -> «Установить корневой сертификат Charles»]

Следуйте инструкциям по установке;

Выбирая место хранения сертификата, просто выберите [Личное]. Вообще говоря, выбирается второй вариант.

Затем настройте SSL для получения доменного имени: Выберите [«Прокси» -> «Настройки проксирования SSL»], включите опцию [Включить проксирование SSL], выберите опцию добавления, конфигурация местоположения Чарльза поддерживает подстановочные знаки, поэтому установка «*» в Хосте может использоваться для представления всех доменные имена, порт писать не нужно.

Позже, если вы настроите указанное доменное имя, порт здесь может быть установлен на 443, чтобы вы могли захватывать данные указанного доменного имени;

Чтобы установить сертификат SSL на мобильный телефон, откройте клиент Charles и нажмите [«Справка» -> «Прокси SSL» -> «Установить корневой сертификат Charles на мобильное устройство или удаленный браузер»],

Появится следующая страница, что означает, что вы можете настроить прокси на своем мобильном телефоне: 192.168.2.173:1111, что означает, что мобильный терминал и ПК-терминал находятся в одной локальной сети, а затем использовать мобильный браузер. для доступа к chls.pro/ssl:

После успешной загрузки его необходимо установить локально на мобильный телефон. Вот как пример Redmi. При установке сертификата безопасности на мобильный телефон Xiaomi необходимо заранее установить пароль разблокировки, иначе установка не будет Работа.

После завершения установки вы можете использовать Charles для получения данных http на мобильном телефоне.

Соответствующая конфигурация перехвата принимающего пакета mitmproxy

Mitmproxy — это программа захвата пакетов, которая поддерживает HTTP и HTTPS. Она имеет функции, аналогичные Fiddler и Charles, за исключением того, что это консольная операция.

mitmproxy также имеет два связанных компонента. Один из них — mitmdump, интерфейс командной строки mitmproxy. С его помощью мы можем подключаться к скриптам Python и реализовывать пост-мониторинг в Python. Другой — mitmweb, веб-программа, открывающая веб-страницу мониторинга.Мы можем четко наблюдать запросы, захваченные mitmproxy. Вот демонстрация с окнами в качестве примера.

Существует два метода загрузки: один — это загрузка непосредственно с официального сайта по адресу https://docs.mitmproxy.org/, а второй — использование пакета установки python pip с помощью команды pip install mitmproxy; после загрузки После этого , найдите каталог загрузки mitmproxy и настройте каталог загрузки на переменные среды системы.Существует множество руководств по настройке переменных среды в Интернете, и вы можете изучить их самостоятельно; это удобно, мы можем использовать командная строка, чтобы проверить, успешно ли установлен mitmproxy; windows Команда mitmproxy не поддерживается, но не влияет на нее, потому что Windows поддерживает команды mitmdump и mitmweb.

Здесь вы можете напрямую получить порт mitmproxy как 8080. Второй шаг такой же, как у Charles. Убедитесь, что мобильный телефон и компьютер находятся в одной локальной сети. IP-адрес компьютера получается таким же образом. как у Чарльза. После успешной настройки mitmdump выглядит следующим образом:

Как и Чарльз, если вы хотите использовать mtmproxy для захвата HTTP-данных с локальных и мобильных терминалов, компьютер и мобильные терминалы также должны установить соответствующие сертификаты безопасности. Метод установки такой же, как описан в Чарльзе. Адрес для Получение сертификата хранится на адресе mitmproxy диска c: [диск C -> пользователь -> имя пользователя -> mitmproxy].

Источник

Fiddler = удобный сниффер + прокси сервер

Привет. В данной статье расскажу как и зачем можно изменять HTTP пакеты при отправке на сервер и при получении ответов от сервера.
В статье много практических примеров.

Зачем это делать ?

Пример 1. Анализ трафика.
Пользователи вашей сети пользуются вашим прокси-сервером. Вы можете увидеть на какие сайты заходят пользователи, запрещать дальнейшие переходы на эти сайты.

Пример 2. Сбор данных.
Ваши пользователи пользуются через вас некоторыми веб-ресурсами. Например, они вводят vin-номер своего автомобиля на сайте дилера авто и получают в ответ данные этого автомобиля. Вы можете сохранять эти данные в свою базу данных.

Пример 3. Подмена HTTP-пакетов.
Вам нужно изменить для ваших пользователей внешний вид сайта. Вы можете изменить стили сайта, скрывать любые элементы, добавить свои элементы, вырезать определенные слова или заменить их на другие слова, изменить картинку сайта на любую свою.

Пример 4. Подмена POST-данных.
Вам нужно подправить данные передаваемые на веб-сервер через POST-запрос. Существует множество информации передаваемой в POST-запросах. Пример: отправка логина/пароля на сервер в процессе авторизации. Или онлайн тест отправляет на сервер результаты вашего теста.

Установка Fiddler

Установка простая и быстрая.

Настройка Fiddler

В меню File есть опция «Capture Traffic«. По умолчанию опция включена. Это означает что Fiddler прописывает в реестре Windows себя в качестве прокси-сервера. Браузеры Internet Explorer, Edge, Chrome используют данную настройку, а значит HTTP-пакеты от этих браузеров пойдут через Fiddler.

Если опция «File -> Capture Traffic» выключена, то Fiddler перестает работать как системный прокси-сервер и перехватывает только те пакеты, которые идут непосредственно на адрес Fiddler. Это может быть когда вы настроили ваше приложение или браузер сами для работы через ip/port Fiddler. По умолчанию Fiddler слушает на порту 127.0.0.1:8888

Опция «Keep: All sessions«.
В данном режиме Fiddler не очищает журнал собранных HTTP-пакетов. Если требуется продолжительная работа Fiddler, то при большой нагрузке этих пакетов будет очень много и Fiddler скушает всю доступную оперативную память компьютера. Чтобы этого не случилось переключите в режим «Keep: 100 sessions».

Опция «Decode«.
По умолчанию выключена. В процессе анализа собранных пакетов рекомендуется включить чтобы пакеты автоматически декодировались. Либо можно выделить собранные пакеты через Ctrl+A, вызвать меню нажатием правой кнопки мыши по выделенным пакетам и нажать «Decode Selected Sessions».

Основные настройки

Переходим в «Tools -> Options. «.

Вкладка «HTTPS».
После установки Fiddler не собирает HTTPS-трафик, это необходимо включить. Ставим галочку в опции «Decrypt HTTPS traffic«. После этого Fiddler сгенерирует самоподписанный сертификат и спросит хотите ли установить данный сертификат. Отвечаем да.

Опция «Ignore server certificate errors (unsafe)» — сразу можно не включать. На некоторых порталах бывают ошибки сертификатов, но это редко. Как увидите так включите )
Настройка протоколов. По умолчанию стоит значение » ;ssl3;tls1.0″. Советую сразу установить значение на » ;ssl3;tls1.0;tls1.1;tls1.2″. После изменения настроек необходимо перезапустить программу чтобы настройки вступили в силу.

«Trust Root Certificate» — если сгенерированный Fiddler сертификат вы не установили после включения опции «Decrypt HTTPS traffic», то можно это сделать здесь.

«Export Root Certificate to Desktop» — если вы планируете использовать Fiddler как прокси-сервер локальной сети, то на каждом устройстве пользователя необходимо установить сгенерированный выше сертификат. С помощью этой опции сохраняете сертификат на ваш рабочий стол.

«Reset All Certificates» — в некоторых случаях необходимо сгенерировать новый сертификат взамен старого. В этом случае сбрасываем все Fiddler-сертификаты и генерируем новый сертификат.

Вкладка «Connections».
Здесь устанавливаем на каком порту Fiddler работает как прокси-сервер. Порт по умолчанию «8888».

«Allow remote computers to connect» — включаем опцию чтобы Fiddler начал принимать подключения от других компьютеров.

«Act as system proxy on startup» — по умолчанию опция включена. Если включена, то при запуске опция «File -> Capture Traffic» включена.

После изменения данных настроек необходимо перезапустить программу чтобы настройки вступили в силу.

Вкладка «Gateway».
Здесь устанавливаем куда Fiddler отправляет входящие пакеты, какой прокси использует.

«Use System Proxy (recommended)» — использование системного прокси из реестра текущего пользователя.

«Manual Proxy Configuration» — возможность задать вручную прокси-сервер.

«No proxy» — задаем что выход в Интернет напрямую, без использования прокси.

После изменения данных настроек необходимо перезапустить программу чтобы настройки вступили в силу.

Установка сертификатов на Windows устройствах

После того как сгенерированный сертификат скопирован на рабочий стол этот сертификат необходимо установить на каждое устройство которое будет использовать данный Fiddler в качестве прокси-сервера.

Для установки сертификата используем консоль управления MMC: в коммандной строке вводим команду «mmc».

В меню файл выбираем «Добавить или удалить оснастку«. Из доступных оснасток выбираем «Сертификаты» и с помощью кнопки «Добавить» выбираем данную оснастку. Нажимаем «Ок» и выбираем «учетной записи компьютера«. Это нужно чтобы открыть сертификаты которые установлены для всего компьютера, а затем установить сертификат Fiddler именно в это хранилище. Если открыть сертификаты «моей учетной записи пользователя«, то после установки сертификата Fiddler в это хранилище другие пользователи данного компьютера не смогут подключиться к Fiddler.

Установку сертификата производим в «Доверенные корневые центры сертификации».

Если ваши компьютеры находятся в домене, то используйте инструменты домена для установки сертификата каждому пользователю или на каждый компьютер сети.

Анализ трафика

В процессе работы Fiddler сниффит все HTTP-запросы и их обычно много. Для поиска необходимых запросов можно использовать фильтры. Правой кнопкой мыши выбираем лишний запрос, выбираем «Filter Now» и «Hide ‘. ‘» чтобы скрыть запросы к данному домену. Можно удалять вручную выделенные запросы используя кнопку «Delete«.

Кроме использования фильтров можно искать отдельный текст в теле запросов/ответов: «Ctrl+F» для открытия меню поиска. Найденные запросы подсвечиваются по умолчанию желтым цветом.

Изменение данных запросов

В Fiddler существует инструмент «Fiddler ScriptEditor» (Редактор скриптов) для создания правил модификации трафика. Запуск редактора скриптов через «Ctrl+R» или выбора пункта меню «Rules -> Customize Rules. «.

В редакторе скриптов есть два основных метода: «OnBeforeRequest» и «OnBeforeResponse«:

«OnBeforeRequest» — выполнение скриптов в этом методе происходит перед отправкой пакетов на веб-сервер.

«OnBeforeResponse» — выполнение скриптов в этом методе происходит после получения ответа от веб-сервера.

Ниже приведены примеры скриптов с указанием в каком методе их расположить.

Задача 1: Запрет сайта

Запрещаем переход на адрес сайта содержащий строку.

Задача 2: Запрет загрузки ресурса

Запрещаем загрузку «.svg» файлов для заданного адреса сайта.

Задача 3: Переадресация запроса

Переадресация запроса на адрес сайта содержащий строку.

Задача 4: Сбор данных

Пользователи подключаются через данный прокси-сервер и делают в браузерах некоторые запросы вида «https://myhost.ru?key=abcd&vin=VF38BLFXE81078232&lang=ru«. Задача записать в базу данных событие поиска и передать значение vin-номера. Данный скрипт создает файлы с названием включающем vin-номер. Кроме скрипта необходимо создать утилиту/службу, которая раз в заданный интервал читает каталог «C:\vinsearch\» и записывает данные в базу данных.

Задача 5: Изменить текст в ответе

В данном примере меняем текст «Иванов» на «Петров«.

Задача 6: Заменить ресурс веб-портала на локальный ресурс

Заменим картинку веб-портала на картинку расположенною на локальном диске.

Задача 7: Изменение свойств HTML-объектов

Например, есть картинка с заданными размерами в HTML и нужно эти размеры изменить.

Задача 8: Скрыть элементы по className меняя css-файлы

В данном примере скрываем элементы зная их className в css-файле добавляя свойство «visibility: hidden;«

Задача 9: Заставить страницу открываться в текущем окне

Пример: существует JavaScript, который открывает ссылку в новом окне. Нужно сделать чтобы ссылка открывалась в текущем окне.

Задача 10: Выполнение скриптов для определенных IP

В данном примере меняем текст «Иванов» на «Петров» только для IP = «192.168.0.100«

Задача 11: Меняем css-стили портала

Css-файлы веб-портала можно сохранить на локальном диске, отредактировать и настроить скрипт отдавать стили с локального диска, а не с портала.

Задача 12: Запрет PUT-команды и аналогичных

Запрет команды по ее типу: «PUT«, «DELETE«, etc.

Задача 13: Изменение тела POST-запроса

Изменить тело POST-запроса для заданного портала. При авторизации на данном портале вне зависимости от введенных пользователем данных на веб-портал отправятся данные из скрипта.

Задача 14: Меняем заголовки HTTP-пакета

Заголовки пакетов можно легко редактировать: удалять, добавлять, изменять.

Задача 15: Меняем Cookie

Работа с Cookie: добавление, удаление, редактирование

Источник