Работа с Proxy в Python [Использование Python в OSINT]

Proxy Python OSINT

Многие сайты и сервисы блокируют IP-адреса, отправляющие большое количество запросов за короткое время. Вы можете обойти такую защиту, используя прокси-серверы (это не гарантирует успех, но иногда помогает решить проблему). В статье покажу, как использовать Python для работы с Proxy.

Еще по теме: Работа с веб-архивом в Python

Работа с Proxy в Python

Прокси-сервер, также известный как шлюз уровня приложения, может быть частью программного обеспечения или компьютером. В любом случае он работает как шлюз между вашим устройством и сервером, к которому вы подключены. Это как посол, который действует как ваш представитель при транзакциях с различными серверами в Интернете.

Принцип работы Proxy Python

Использовать Proxy в Python очень просто. При создании запроса, нужно указать адрес прокси-сервера, через который хотите перенаправить трафик.

Запустите simple_proxy.py:

Proxy Python

Пусть вас не пугает мой терминал, я использую GitPod.

Прокси-сервер, используемый в качестве примера в приведенном выше коде, вероятно, больше не работает. Поэтому, замените его другим. Огромное количество бесплатных серверов можно найти в Google за пару секунд.

Список прокси Питон

Примеры списка прокси-серверов:

  • https://hidemy.name/en/
  • https://github.com/clarketm/proxy-list
  • https://github.com/TheSpeedX/PROXY-List
  • https://github.com/ShiftyTR/Proxy-List
  • https://github.com/jetkai/proxy-list

Для успешного обхода защиты от скрапинга, одного прокси-сервера недостаточно . Ведь целевой сайт может блокировать их один за другим и, кроме того, бесплатные прокси-серверы могут быть крайне нестабильны.

Поэтому вам может потребоваться поиск прокси-сервера, чтобы найти тот, который работает и не заблокирован.

Запустите proxy_permulation.py:

Как и в первом случае, прокси-адреса, указанные в списке на момент публикации статьи, могут не работать. Поэтому замените их на другие (которые, как сказано выше, можно найти в бесплатных списках Прокси) перед запуском скрипта.

Использование Proxy Python

Вы также можете использовать готовые инструменты для перенаправления трафика через прокси-сервера:

  • XX-net
  • mitmproxy
  • Proxify (очень хороший написанный на Go инструмент от Projectdiscovery).

Вот простой пример запроса с добавленным заголовком User-Agent.

Запустите useragent.py:

Использовать Proxy Python

В результате должен отобразиться html-код страницы, который будет содержать User-Agent, указанный в заголовках, переданных вместе с запросом.

Использовать Proxy Python OSINT

На этом все. Теперь вы знаете, как использовать Python для работы с Proxy. В следующей статье продолжим использование Python в OSINT.

ПОЛЕЗНЫЕ ССЫЛКИ:

QUASAR

Этичный хакер: компьютерный ниндзя и мастер цифровых тайн.

Добавить комментарий