Какое значение User-agent у запросов от поисковых роботов?

[izx]

Какое значение User-agent у запросов от поисковых роботов?

Хочу в лог файле Apache найти запросы от поисковых роботов.
Предполагаю, что у поисковых роботов что то написано в поле User-agent, запроса HTTP.
По этому полю User-agent предполагаю идентифицировать запросы от поисковых роботов.

Вопросы.
1. Что передают в поле User-agent наиболее известные поисковики?
2. Бывает ли что роботы поисковиков маскируются под пользователей и в поле User-agent передают что то типа "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;"

Интересуют наиболее известные поискови: Яндекс, рамблер, гугл и т.д.

 

[Beavis]

информация легко ищется на сайтах этих самых поисковиков...

 

[Фанат]

1. открой лог сайта, да посмотри. Это 5 минут
2. бывает

 

[fixxxer]

1

egrep -i '(bot|spider|yahoo|yandex|rambler|google|чо там еще)' access.log

вот и увидишь

2 - бывает. а еще подмена контента ботам называется "клоакинг" и за это сразу выкидывают из индекса нафиг.

 

[Beavis]

.

 

[Luge]

http://user-agents.org/

 

[Agr]

http://www.iplists.com/nw/