Анализ сайта в рамках OSINT

Содержание статьи

Анализ сайта в рамках OSINT
Анализ веб-сайтов
Ресурсы Whois и ICANN
Архивы и мониторинг сайтов
Похожие сайты
Заключение

Продолжаем тему OSINT. В предыдущей статье мы рассказывали про скрапинг сайтов на Python. Сегодня я познакомлю вас с инструментами и онлайн-сервисами для анализа сайта.

Еще по теме: Лучшие браузерные расширения для OSINT

Анализ сайта в рамках OSINT

Некоторые ресурсы требуют регистрации учетной записи, после которой бесплатно проставляют какое-то количество ежемесячных поисков и ключ API. Другие предлагают бесплатный анализ без регистрации, но не предоставляют результат поиска целиком. Ну, и есть полностью бесплатные онлайн-сервисы, которые даже не требуют регистрации.

Если вы думаете об использовании инструмента OSINT, такого как Spiderfoot, стоит получить ключи API, чтобы Spiderfoot мог автоматизировать анализ веб-сайта (см. Использование SpiderFoot в облаке).

Анализ веб-сайтов

Awesome Tech Stack используется для глубокого анализ веб-сайта.
Blacklight — сканирует веб-сайт и выявляет используемые технологии отслеживания пользователей на сайте.
Built With выводит список используемых плагинов сайта находит связи между сайтами.
Censys помогает обнаруживать, отслеживать и анализировать устройства подключенные к сети.
Central Ops сервис для поиска информации о владельцах домена, записях DNS и многое другое (все в одном отчете).
Cmlabs позволяет узнать, какие технологии использует сайта.
Cybernews Website Security Checker — бесплатный сканер уязвимостей сайтов проверяет на наличие потенциальных проблем с безопасностью.
Cyber X-Ray классифицирует домены в соответствии с их историческими и реляционными данными.
DNS Dumpster — DNS-разведка (поиск и просмотр DNS-записей).
DNS Lytics отображает подробную информацию об IP-адресе, доменном имени и провайдере.
Favicon Hasher может выполнить поиск в различных поисковых системах, для поиска информацию, которая может быть связана с целевым веб-приложением.
Google Admin Toolbox — набор инструментов, которые помогут вам проанализировать сайт.
IPVoid — популярные инструменты для анализа сайтов.
Larger раскрывает технологии, используемые на веб-сайтах.
MX Toolbox — еще один набор инструментов, которые помогут проанализировать сайт.
PageXray — анализ ссылок, рекламы, и трекеров на сайте.
Phish Tank — центр обмена данными и информацией о фишинге в Интернете.
Spy On Web — бесплатная онлайн-сервис, который позволяет найти все сайты принадлежащие одному владельцу.
Urlscan — бесплатный сервис для сканирования и анализа сайтов.
View DNS позволяет собрать информацию о сайте или IP-адресе.
Visual Site Mapper — бесплатный сервис, который может быстро показать карту сайта.
Wappalyzer может отобразить техническую информацию о сайте (рассказывали в статье Лучшие хакерские расширения для браузера Firefox).

Ресурсы Whois и ICANN

Domain Tools находит все домены на определенном IP-адресе.
My IP определяет хостинг сайта по IP-адресу.
Synapsint позволяет собирать информацию из различных открытых источников (домен, IP-адрес, адрес электронной почты, номер телефона и биткойн-кошелек).
Tor Whois — Whois сети Tor.
Whoisology находит связь между доменами и выявляет владельца сайтов.
WhoisXML DNS — инструменты для поиска записей DNS, проверки NS, MX, SPF, A, SOA, TXT и т. д.
WhoisXML IP Geolocation — сервис для определения точного местоположения IP-адреса.
WhoisXML Whois History — поиск истории Whois.
Whoxy осуществляет поиск по домену, ключевому слову, адресу электронной почты, названию компании.
ICANN Lookup. Каждый раз, при регистрации домена, клиенты платят ICANN (небольшую плату за регистрацию домена). Сервис позволяет просмотреть данные владельца сайта.

Архивы и мониторинг сайтов

Archive Today — сайт для просмотра сохраненных снимков веб-сайта.
Aware-Online — инструмент для создания целевого поиска заархивированных текстов, видео, аудио, программного обеспечения и изображений из Интернета.
Cached Pages позволяет получить кешированную страницу любой страницы.
Cached Views — сервис для просмотр любой страницы в Интернете через несколько кешированных источников.
Distill может автоматизировано отслеживать изменения веб-сайта.
Follow That Page используется для обнаружения изменений сайта. При появлении изменений, отправляет электронное письмо.
HTTrack — бесплатная и простая в использовании утилита автономного браузера.
PDF a URL сохранение любой страницы в высококачественный PDF-файл.
Visual Ping следит за изменениями на сайте.
Wayback Machine (Интернет-архив) — это некоммерческая библиотека, содержащая копии всех веб-сайтов.

Заключение

Все рассмотренные в статье сайты работают и актуальны на сегодняшний день, но как показывает практика, подобные сервисы часто и скоропостижно помирают.

ПОЛЕЗНЫЕ ССЫЛКИ: