md5
Новичок
Обход анти парсера
Написал парсер который берет данные (о фильмах и актерах) с сайта http://kinopoisk.ru и помещает их в базу данных. При запуске парсера выяснилось что сайт блокирует IP с которого идут http запросы слишком быстро. Если кто знает, интересно как это осуществляется. И самое главное, как это обойти? Пока ограничился тем что поставил паузу между каждым запросом, но это замедляет парсинг. Есть ли еще какие способы? Как подделаться по поисковую систему если там предусмотрено разрешение для поисковых роботов?
Написал парсер который берет данные (о фильмах и актерах) с сайта http://kinopoisk.ru и помещает их в базу данных. При запуске парсера выяснилось что сайт блокирует IP с которого идут http запросы слишком быстро. Если кто знает, интересно как это осуществляется. И самое главное, как это обойти? Пока ограничился тем что поставил паузу между каждым запросом, но это замедляет парсинг. Есть ли еще какие способы? Как подделаться по поисковую систему если там предусмотрено разрешение для поисковых роботов?
