iNfantry
Новичок
Собственно в чем проблема - при запросе некоторых сайтов из скрипта они каким-то образом понимают, что запрос выполняется именно скриптом, а не через браузер, и не выдают ожидаемый контент.
Для запроса я использую cURL и конешно же формирую все необходимые заголовки запроса, включая куки и прочее. Тоесть я сначала запрашиваю сайт через браузер и смотрю в HTTP-отладчике все что отправляет браузер - и при попытке все то же самое сделать через скрипт ничего не получается, тоесть сайт как-то определяет, что к нему обращаются через скрипт. Отсюда и вопрос - как это происходит? В чем еще отличие запроса из курла и браузера кроме заголовков? В конце концов каким образом мне отличить запрос из браузера и скрипта на собственном сайте? Сразу скажу, что речь не о том, чтобы обойти какую-то защиту типа cloud-flare, в моем случае нету никаких генерируемых математических яваскрипт задач и прочей защите внутри контента, только простые заголовки которые без каких-либо вычислений.
Для запроса я использую cURL и конешно же формирую все необходимые заголовки запроса, включая куки и прочее. Тоесть я сначала запрашиваю сайт через браузер и смотрю в HTTP-отладчике все что отправляет браузер - и при попытке все то же самое сделать через скрипт ничего не получается, тоесть сайт как-то определяет, что к нему обращаются через скрипт. Отсюда и вопрос - как это происходит? В чем еще отличие запроса из курла и браузера кроме заголовков? В конце концов каким образом мне отличить запрос из браузера и скрипта на собственном сайте? Сразу скажу, что речь не о том, чтобы обойти какую-то защиту типа cloud-flare, в моем случае нету никаких генерируемых математических яваскрипт задач и прочей защите внутри контента, только простые заголовки которые без каких-либо вычислений.