Мы уже рассказывали, как искать в сети Tor. В сегодняшней статье я познакомлю вас с инструментом, который позволяет автоматизировать поиск в Tor. Python скрипт OnionSearch позволяет с помощью одной команды произвести поиск во всех популярных поисковиках .onion.
Еще по теме: Обзор лучших анонимных поисковиков
На данный момент OnionSearch работает с этими поисковыми системам:
- ahmia
- darksearchio
- onionland
- notevil
- darksearchenginer
- phobos
- onionsearchserver
- torgle
- onionsearchengine
- tordex
- tor66
- tormax
- haystack
- multivac
- evosearch
- deeplink
Установка OnionSearch
Установка OnionSearch с помощью PyPI
|
1 |
pip3 install onionsearch |
Установка OnionSearch с помощью Github
|
1 2 3 |
git clone https://github.com/megadose/OnionSearch.git <span class="pl-c1">cd</span> OnionSearch/ python3 setup.py install |
Использование OnionSearch
Help:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 |
usage: onionsearch [-h] [--proxy PROXY] [--output OUTPUT] [--continuous_write CONTINUOUS_WRITE] [--limit LIMIT] [--engines [ENGINES [ENGINES ...]]] [--exclude [EXCLUDE [EXCLUDE ...]]] [--fields [FIELDS [FIELDS ...]]] [--field_delimiter FIELD_DELIMITER] [--mp_units MP_UNITS] search positional arguments: search The search string or phrase optional arguments: -h, --help show this help message and exit --proxy PROXY Set Tor proxy (default: 127.0.0.1:9050) --output OUTPUT Output File (default: output_$SEARCH_$DATE.txt), where $SEARCH is replaced by the first chars of the search string and $DATE is replaced by the datetime --continuous_write CONTINUOUS_WRITE Write progressively to output file (default: False) --limit LIMIT Set a max number of pages per engine to load --engines [ENGINES [ENGINES ...]] Engines to request (default: full list) --exclude [EXCLUDE [EXCLUDE ...]] Engines to exclude (default: none) --fields [FIELDS [FIELDS ...]] Fields to output to csv file (default: engine name link), available fields are shown below --field_delimiter FIELD_DELIMITER Delimiter for the CSV fields --mp_units MP_UNITS Number of processing units (default: core number minus 1) [...] |
По умолчанию сценарий запускается с параметром:
|
1 |
mp_units = cpu_count() - 1 |
Это означает, что если у вас есть машина с 4 ядрами, она будет запускать 3 функции очистки параллельно. Вы можете установить для mp_units любое значение, но рекомендуется оставить значение по умолчанию. Вы можете установить его в 1, чтобы запускать все запросы последовательно (отключение функции одновременной обработки).
Обратите внимание, что непрерывная запись в файл csv не была тщательно протестирована с функцией многопроцессорности и поэтому может плохо работать.
Еще по теме: Как обойти блокировку Tor
Примеры использования:
Также обратите внимание, что индикаторы выполнения могут отображаться неправильно, если mp_units больше 1. Но это не влияет на результаты.
onionsearch «computer»
Чтобы запросить все поисковики по слову «компьютер»:
|
1 |
onionsearch "computer" |
Чтобы запросить все поисковики, кроме «Ahmia» и «Candle» для слова «компьютер»:
|
1 |
onionsearch "computer" --exclude ahmia candle |
Чтобы запросить только «Tor66», «DeepLink» и «Phobos» для слова «компьютер»:
|
1 |
onionsearch "computer" --engines tor66 deeplink phobos |
То же, что и ранее, но с ограничением до 3-х страниц для загрузки на каждый поисковик:
|
1 |
onionsearch "computer" --engines tor66 deeplink phobos --limit 3 |
По умолчанию файл записывается в конце процесса. Файл будет отформатирован csv и будет содержать следующие столбцы:
|
1 |
"engine","name of the link","url" |
Вы можете настроить, что будет сброшено в выходной файл, используя параметры --fields и --field_delimiter.
--fields позволяет добавлять, удалять, изменять порядок полей вывода. Режим по умолчанию показан чуть ниже. Вместо этого вы можете, например, выбрать вывод:|
1 |
"engine","name of the link","url","domain" |
|
1 |
--fields engine name link domain |
Или даже вы можете выбрать вывод:
|
1 |
"engine","domain" |
установив
|
1 |
--fields engine domain |
Здесь показана работа скрипа.
Вы также можете изменить разделитель CSV (по умолчанию запятая), например: --field_delimiter ";".
Имя файла будет установлено по умолчанию на output_$DATE_$SEARCH.txt представляет текущее значение даты и времени, а $ SEARCH — первые символы строки поиска.
Вы можете изменить это имя файла, используя --output при запуске скрипта, например:
|
1 2 3 4 |
onionsearch "computer" --output "\$DATE.csv" onionsearch "computer" --output output.txt onionsearch "computer" --output "\$DATE_\$SEARCH.csv" ... |
На этом все. Теперь вы знаете как автоматизировать поиск в Tor.
Еще по теме: Возможности поисковика DuckDuckGo, о которых вы не знали
