Проблема: "Анонимный прокси"

[cucaracha]

Проблема: "Анонимный прокси"

Здравствуйте.
Проблема следующая.
Есть скрипт, который коннектится (fsockopen) через 80-ый порт какого-нить сервера
и берет некоторую информацию. (обычный грабер)

И вот залез я ей на yandex.ru и получил сообщение что:
" Доступ к нашему сервису запрещен!
Вы используете прокси-сервер с адресом ххх.ххх.ххх.ххх.
К сожалению, этот прокси-сервер является "открытым" и "анонимным", то есть любой пользователь интернета может им воспользоваться совершенно безответственно. Мы вынуждены запретить доступ через такие прокси-сервера, потому что они широко используются для атак на нас. Атаки ухудшают качество обслуживания пользователей. "

На сервере где запускаю скрипт скрипт никакого прокси типа СКвида не стоит.


Подскажите пожалуйста что можно сотворить...
Какие настройки поменять (система RedHat 7.1)

 

[Mammoth]

В чем проблема?

В том что не получается забрать информацию с яндекса? Так это не из-за анонимного прокси - просто яндекс поставил примитивную защиту от дураков.

(Hint: нельзя идти по ссылке http://ya.ru/norobots/)

 

[cucaracha]

какую защиту ?

Автор оригинала: Mammoth
В чем проблема?

В том что не получается забрать информацию с яндекса? Так это не из-за анонимного прокси - просто яндекс поставил примитивную защиту от дураков.

(Hint: нельзя идти по ссылке http://ya.ru/norobots/)

Какую защиту ? ОТ чего ?
Сообщение то выал не о том что документ не найден а что прокси "анонимный" и под ним все могут шастать.

а при чем это: http://ya.ru/norobots/ ??

 

[Barlone]

Re: какую защиту ?

Автор оригинала: cucaracha

Какую защиту ? ОТ чего ?
Сообщение то выал не о том что документ не найден а что прокси "анонимный" и под ним все могут шастать.

От граберов. От автоматического скачивания с их сайта.

 

[Last]

Яндекс выдает такой ответ в том случае если к нему приходит запрос от анонимной и открытой прокси, совершенно точно.... сам сталкивался. Ты уверен что запрос не идет через тот адрес, который тебе написал яндекс?
В принципе возможно, что адрес, с которого ты делаешь запрос к яндексу, как-то случайно попал в базу запрещенных проксей яндекса, но это слишком маловероятно.
И еще один вариант, что яндекс хитрит.... не видит каких-нибудь заголовков в запросе, и выдает этот стандартный ответ...... попробуй послать яндексу в запросе все заголовки, которые обычно шлет IE, в том числе и User Agent

 

[gRigoriy]

попробуй послать яндексу в запросе все заголовки, которые обычно шлет IE, в том числе и User Agent

Да не поможет. Защита ИМХО у него стоит по ип-шнику. Т.к. все грабберы имеют постоянный адрес.
2 cucaracha
Поэтому ты просто должен поменять IP. И больше не заходить по ссылкам http://ya.ru/norobots/.

 

[cucaracha]

А то что это именно грабер они определяют по отсутствию заголовков ?

Запрос идет именно через тот адрес, который указал Яндекс. Вот я и спрашивал что там можно с сервером поправить.

 

[Last]

Так написали же. Сменить IP.

 

[cucaracha]

Так дело тут не в Граберстве.
Со второго рабочего сервера фирмы все преспокойно грабится и тырится теми же методами.
И почему же если один сервак забаннили то второй все преспокойно работает?

 

[Last]

Видимо он когда-то у них уже засветился.
Подожди немного, они и второй забаннят ))

 

[gRigoriy]

Ты зайди на ссылку http://ya.ru/norobots/ вторым сервером и второй забанят

 

[cucaracha]

Вот тока что сходил потом грабилу запустил и все ОК.

Работает.
Фишка лежит не тут.

 

[Last]

Ну не все сразу.........

 

[gRigoriy]

Мля тебе ж говорят зайди по ссылке, она написана в коде yandex в виде &lt;a href="http://ya.ru/norobots/"></a&gt; и все граберы, заходят на эту страницу, а на ней скрипт забанвает твой ип, и все произойдет!!! Если грабер написан тобой на пхп и ты не ходишь по ссылкам то ничего и не произойдет!