просто было в файле... copy/paste
-----
http://webmaster.yandex.ru/faq.xml?id=502499#user-agent
А как в логах сервера называется ваш робот? Ваш робот «ходит» с одного IP-адреса?
У Яндекса есть несколько роботов, которые представляются по-разному.
* Yandex/1.01.001 (compatible; Win16; I) - основной индексирующий робот
* Yandex/1.01.001 (compatible; Win16; P) - индексатор картинок
* Yandex/1.01.001 (compatible; Win16; H) - робот, определяющий зеркала сайтов
* Yandex/1.03.003 (compatible; Win16; D) - робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
* Yandex/1.03.000 (compatible; Win16; M) - робот, обращающийся при открытии страницы по ссылке «Найденные слова»
IP-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться. Список адресов мы не разглашаем.
-----
http://www.google.com/webmasters/bot.html#logs
Can you tell me the IP addresses from which Googlebot crawls so that I can filter my logs?
The IP addresses used by Googlebot change from time to time. The best way to identify accesses by Googlebot is to use the user-agent (Googlebot).
-----
http://www.rambler.ru/doc/faq.shtml#11
Что прописывает робот в строке HTTP_USER_AGENT? Сообщите IP-адрес робота, чтобы я мог найти его в логах.
Наш HTTP_USER_AGENT - "StackRambler". IP-адреса могут меняться произвольным образом.
-----