• VLMI - форум по обмену информацией. На форуме можете найти способы заработка, разнообразную информацию по интернет-безопасности, обмен знаниями, курсы/сливы.

    После регистрации будут доступны основные разделы.

    Контент форума создают пользователи, администрация за действия пользователей не несёт ответственности, отказ от ответственности. Так же перед использованием форума необходимо ознакомиться с правилами ресурса. Продолжая использовать ресурс вы соглашаетесь с правилами.
  • Подпишись на наш канал в Telegram для информации о актуальных зеркалах форума: https://t.me/vlmiclub

Ищу граббер URL

Tor11

Местный
Сообщения
165
Реакции
158
0 руб.
Страница Вконтакте
Skype
Telegram
Вопрос к знатокам. Подскажите плз граббер url с сайта, что бы быстрый. Сканеры вульнераблис меня расстраивают, один шлак. Хочу тупо сграбить урлс и запихнуть в SQL dumper чекать. Т.е. граббер страниц ссылок для конкретного сайта, не по доркам а просто страницы все.
 

rejjin

Кодер
Сообщения
194
Реакции
648
0 руб.
Telegram
Когда в SEO был погружен, самым клевым инструментом (краулером) был screaming frog seo spider. Может обойти все страницы в несколько потоков, собрать внутренние ссылки, прочекать их на 200 код ответа и тд. Очень мощный инструмент, лучше saas-решений.
 

Splash

Местный
Сообщения
70
Реакции
62
0 руб.
Я тебя наверное разочарую, но спарсив все страницы сайта, и добавив их в SQL dumper, у тебя в итоге останется одна страница. Т.к он автоматически остальные посчитает за дубликаты, и удалит их
 
Сверху Снизу