Строка запроса и боты

[onekurs]

Строка запроса и боты

Добрый день. Пожалуйста, кто знает, откликнитесь.
Необходимо фиксировать IP адрес и строку запроса (реферальная ссылка типа name.ru/index.php?sid=456). Данные заносятся в БД. Написал прогу, тестирую. И что же я там вижу? Куча ботов начиная от гугла и так далее - и все типа приходили по реферальным ссылкам. Я так понял, что дело в кэше или в сессиях.
Когда я сам из браузера захожу - все нормально, вижу мой ip и параметр sid=456, но тут же следом идет адрес ip бота яндекса ТОЖЕ С ПАРАМЕТРОМ 456. КАК ОН ПРОЛЕЗ-ТО?
А мне необходимо отличать конкретные переходы от всяких там ботов.
Спасибо.

 

[Фанат]

а ты думал, как боты ходят? не по ссылкам, а прямо в базу что ли?

-~{}~ 12.07.09 23:58:

и при чем здесь реферальная ссылка?

 

[onekurs]

реферальная - это я к примеру, просто строка запроса.
Ок, понял. Спасибо за ответ. Вот гады, боты... Придется их по Ip адресам фильтровать. По-другому вроде никак?

 

[iceman]

[фанат зол]

 

[onekurs]

спасибо

 

[Фанат]

iceman
и как ты собираешься этим оперировать?

 

[Армян]

мб юзерагент?

 

[Фанат]

мне вот тоже интересно - как автор узнал, что к нему в логах яндекс ходил. и почему после этого возник вопрос, как его от других отличить

 

[nexen]

есть такая штука - mod rewrite , а ещё есть файлы .htaccess запретите ботов там где они вам не нужны или определите для них конкретные условия. информацию по разного вида юзер агентам можете получить тут
http://www.user-agents.org/index.shtml

 

[Армян]

а еще есть такой замечательный файлик robots.txt

 

[nexen]

Автор оригинала: Армян
а еще есть такой замечательный файлик robots.txt

кстати - да ! ) - совершенно верно - вариантов , как оказалось масса ! ) - желания бы ещё чуть чуть и всё будет
http://robotstxt.org.ru/

 

[Фанат]

Кто нибудь может мне объяснить, как файл robots.txt поможет в решении озвученной проблемы?

-~{}~ 13.07.09 11:42:

onekurs
информация, которую надо отслеживать, относится только к закрытой части сайта, требующей авторизации, или ко всему сайту в целом?

 

[nexen]

Автор оригинала: *****
Кто нибудь может мне объяснить, как файл robots.txt поможет в решении озвученной проблемы?

опа ни фигассе - читаем http://robotstxt.org.ru/RobotsExclusion/spec

 

[Армян]

Автор оригинала: nexen
опа на фигассе - читаем http://robotstxt.org.ru/RobotsExclusion/spec

Это все конечно при условии что полный запрет доступа ботам подходит как решение

 

[nexen]

Автор оригинала: Армян
Это все конечно при условии что полный запрет доступа ботам подходит как решение

никто ведь и не говорит о "полном" запрете для всего сайта - запретить лишь конкретную директорию со скриптом обрабатывающим рефералы

 

[onekurs]

Автор оригинала: *****
мне вот тоже интересно - как автор узнал, что к нему в логах яндекс ходил. и почему после этого возник вопрос, как его от других отличить

По IP адресу. Он остался в логах, я потом его проверял, что за зверь. Оказался "шпионом". Кстати, в счетчиках скорей всего подобный механизм фильтрации ботов тоже есть.

-~{}~ 29.07.09 19:51:

onekurs

информация, которую надо отслеживать, относится только к закрытой части сайта, требующей авторизации, или ко всему сайту в целом?

Ко всем сайту.