Проблема с эмуляцией браузера в скрипте

Статус
В этой теме нельзя размещать новые ответы.

iNfantry

Новичок
Собственно в чем проблема - при запросе некоторых сайтов из скрипта они каким-то образом понимают, что запрос выполняется именно скриптом, а не через браузер, и не выдают ожидаемый контент.
Для запроса я использую cURL и конешно же формирую все необходимые заголовки запроса, включая куки и прочее. Тоесть я сначала запрашиваю сайт через браузер и смотрю в HTTP-отладчике все что отправляет браузер - и при попытке все то же самое сделать через скрипт ничего не получается, тоесть сайт как-то определяет, что к нему обращаются через скрипт. Отсюда и вопрос - как это происходит? В чем еще отличие запроса из курла и браузера кроме заголовков? В конце концов каким образом мне отличить запрос из браузера и скрипта на собственном сайте? Сразу скажу, что речь не о том, чтобы обойти какую-то защиту типа cloud-flare, в моем случае нету никаких генерируемых математических яваскрипт задач и прочей защите внутри контента, только простые заголовки которые без каких-либо вычислений.
 

Фанат

oncle terrible
Команда форума
при запросе некоторых сайтов из скрипта они каким-то образом понимают, что запрос выполняется именно скриптом, а не через браузер, и не выдают ожидаемый контент.
Сразу скажу, что речь не о том, чтобы обойти какую-то защиту
Взаимоисключающие параграфы вижу в вопросе я.

каким образом мне отличить запрос из браузера и скрипта на собственном сайте
В общем случае - никак.
 

iNfantry

Новичок
В общем случае - никак.
Каким же образом тогда другие это делают(
Про защиту я имел в виду что это не сервис типа клаудфлэйра с математической проверкой браузера, а обычный сайт, который каким-то образом отличает браузер от скрипта.
 

Фанат

oncle terrible
Команда форума
Они стараются что-нибудь придумать, чтобы их не парсили.
Вот я, например, не люблю, когда какой-то хрен с горы парсит или спамит мои сайты. И никто не любит.
Поэтому если твои дети не умирают с голода, то лучше найди себе более достойное занятие.
Веб и так превратился в говно - без каптчи никуда не зайдешь. Не надо делать его ещё гаже.
 
  • Like
Реакции: pr1

iNfantry

Новичок
Как же любят здесь учить жизни и не любят помогать...Судя твоей логике нужно вообще из пхп удалить курл и возможность что либо парсить.
Да и капча уже давно не является проблемой, закинул денежку и индусы ее распознают за тебя.
 
Статус
В этой теме нельзя размещать новые ответы.
Сверху