Приветствую, требуется парсер фб. Цель: спарсить весь фб
Реализация:
Фэйсбук имеет жесткие лимиты на почти весь парсинг, кроме парсинга по типу имя + город.
Этим и воспользуемся.
Указываем список городом и список имен. Парсим все, что нам выдают.
Алгоритм будет примерно такой:
Имеется города Нью-йорк, Филадельфия
имена: Минди, Джон, Алиса
Парсер обрабатывает так:
Минди + Нью-йорк, Джон + Нью-йорк, Алиса + Нью-йорк
Минди + Филадельфия, Джон + филадельфия, Алиса + филадельфия
Понадобится где-то 1 к потоков. Вероятно, использовать амазон (как я понимаю, они для этих целей имеют сервера)
Прокси ipv6.
Вероятно, через браузер или имитацию его. Хотя можно и через хттп запросы попробовать.
Аккаунты, в любом случае, будут лететь в бан, так что нужен регистратор, который будет подтягивать аккаунты на время парсинга.
Далее все это собирается в базу. В которой мы можем:
1) Использовать минус-слова по нужным нам категориям. (например, имя и слово "Лера". Все люди с именем Лера, удалятся)
2) Плюс слова по нужным нам категориям. Например, имя и слово "Лера". Все люди с именем Лера, останутся.
Этап фильтрации многоступенчатый. Т.е. операции плюс и минус слов могут использоваться несколько раз. Как в обычной бд.
А также понадобится рейтинг по самым популярным совпадениям. Приведу пример. У нас есть категория Имя. Софт считает, сколько имен совпадает и выстраивает рейтинг от самого большого количества к самому меньшему.
Если у нас в Списке:
Сергей Филатов
Сергей Есенин
Александр Пушкин
Софт выстроит все так:
Сергей - 2
Александр 1
Категории:
1) !Вся! графа Favorites (рейтинг)
2) Образование
3) Город
4) имя и фамилия
5) Любимые цитаты (рейтинг_)
6) Работа (рейтинг)
7) пол
Для связи - телеграмм @Jricher
Реализация:
Фэйсбук имеет жесткие лимиты на почти весь парсинг, кроме парсинга по типу имя + город.
Этим и воспользуемся.
Указываем список городом и список имен. Парсим все, что нам выдают.
Алгоритм будет примерно такой:
Имеется города Нью-йорк, Филадельфия
имена: Минди, Джон, Алиса
Парсер обрабатывает так:
Минди + Нью-йорк, Джон + Нью-йорк, Алиса + Нью-йорк
Минди + Филадельфия, Джон + филадельфия, Алиса + филадельфия
Понадобится где-то 1 к потоков. Вероятно, использовать амазон (как я понимаю, они для этих целей имеют сервера)
Прокси ipv6.
Вероятно, через браузер или имитацию его. Хотя можно и через хттп запросы попробовать.
Аккаунты, в любом случае, будут лететь в бан, так что нужен регистратор, который будет подтягивать аккаунты на время парсинга.
Далее все это собирается в базу. В которой мы можем:
1) Использовать минус-слова по нужным нам категориям. (например, имя и слово "Лера". Все люди с именем Лера, удалятся)
2) Плюс слова по нужным нам категориям. Например, имя и слово "Лера". Все люди с именем Лера, останутся.
Этап фильтрации многоступенчатый. Т.е. операции плюс и минус слов могут использоваться несколько раз. Как в обычной бд.
А также понадобится рейтинг по самым популярным совпадениям. Приведу пример. У нас есть категория Имя. Софт считает, сколько имен совпадает и выстраивает рейтинг от самого большого количества к самому меньшему.
Если у нас в Списке:
Сергей Филатов
Сергей Есенин
Александр Пушкин
Софт выстроит все так:
Сергей - 2
Александр 1
Категории:
1) !Вся! графа Favorites (рейтинг)
2) Образование
3) Город
4) имя и фамилия
5) Любимые цитаты (рейтинг_)
6) Работа (рейтинг)
7) пол
Для связи - телеграмм @Jricher