Photon — невероятно быстрый веб-краулер для сканирования сайтов

Осинт инструмент

Photon — это очень быстрый веб-краулер созданный для OSINT (сбора открытой информации) сайтов. В статье расскажу о возможностях Photon, а также о том, как его использовать.

Еще по теме: Обзор лучших сканеров уязвимостей

Сканирования сайтов используя Photon

Photon может извлекать разнообразную информацию:

  • Внутренние и внешние урлы.
  • Урлы с параметрами (например, site.com/gallery.php?id=2).
  • Контактные данные (email, аккаунты соцсетей, API-ключи и т.д.).
  • Файлы (pdf, png, xml и другие).
  • Kлючи авторизации и API.
  • JavaScript-файлы и их конечные точки.
  • Поддомены и данные DNS.

Photon предлагает широкий спектр настроек для управления процессом сканирования: можно задать тайм-ауты, задержки между запросами, дополнительные начальные урлы, исключить адреса, совпадающие с регулярными выражениями, и многое другое.

Photon веб-краулер сканер сайтов

Photon оптимизирует управление потоками и использует продуманные алгоритмы, что позволяет достичь высокой скорости работы. Photon способен получать урлы из archive.org с помощью опции --wayback.

Photon поддерживает плагины:

  • wayback — для получения архивных URL-адресов
  • dnsdumpster — для сбора данных о DNS
  • Exporter — для экспорта данных

Запуск через Docker

Photon можно запустить с помощью Docker, используя легкий образ на базе Python-Alpine. Это быстрый способ установить Photon.

Для этого выполните следующие команды:

Для просмотра результатов можно либо перейти в локальный том Docker, который можно найти через команду docker inspect photon, либо смонтировать папку с целевыми данными:

Использование Photon

Для запуска Photon используется команда:

Photon поддерживает множество команд и параметров для гибкого управления процессом сканирования:

Теперь подробнее о каждом из них.

Чтобы начать краулинг одного сайта:

Для сохранения всех страниц сайта на диске:

Опцияп -l позволяет задать глубину краулинга:

Значение -l 3 указывает, что программа будет краулить до третьего уровня вложенности страниц.

Опция -t позволяет указать количество потоков для одновременных запросов:

Можно задать задержку между HTTP-запросами:

Для установки времени ожидания ответа от сервера:

Если необходимо передавать лкуки, воспользуйтесь опцией -c:

По умолчанию, результаты сохраняются в директории с именем домена целевого сайта. Если вы хотите изменить это, используйте опцию -o:

Для отображения всех найденных страниц, файлов и ключей в процессе работы: -v:

Чтобы исключить из краулинга определенные урлы, соответствующие регулярному выражению, используйте --exclude:

Для добавления собственных урлов начального уровня используйте -s:

Вы можете указать свой user-agent с помощью опции --user-agent:

Для поиска данных, соответствующих регулярному выражению, используйте -r:

С помощью опции -e можно указать формат для экспорта данных:

Доступны форматы json и csv.

Для краулинга страниц, сохраненных на archive.org:

Если вам нужно извлечь только адреса, без дополнительных данных:

Для проверки и загрузки обновлений:

Photon может искать строки с высокой энтропией, которые могут быть ключами авторизации или хешами:

Если нужно вывести переменную в стандартный поток вывода для дальнейшей обработки:

Для запуска Photon в режиме «ниндзя», когда запросы посылаются через сторонние сайты, такие как Facebook или Pixlr:

Для сохранения поддоменов и других данных DNS:

На этом всё! Инструмент Photon предоставляет множество опций для гибкой настройки краулинга, и, как видно из примеров, позволяет собрать большой объем информации с веб-сайтов.

Заключение

Photon — это гибкий инструмент для сканирования сайтов и извлечения данных. С его помощью можно настроить процесс сбора информации под конкретные задачи, будь то поиск ключей API, сканирование URL, или сбор данных о DNS.

ПОЛЕЗНЫЕ ССЫЛКИ:

QUASAR

Этичный хакер и компьютерный ниндзя. Новые статьи в нашей Телеге!

Добавить комментарий