robots.txt для поискового робота

[X-BIT]

robots.txt для поискового робота

Как я понимаю роботы открывают для индексирования страницы сайта так же как и пользователи.

Если я в robots.txt закрыл папку, то робот не будет индексировать информацию на странице из данной паки?

User-Agent: *
Disallow: /папка/

 

[sage]

да

-~{}~ 21.02.06 19:15:

, не будет

 

[Dreammaker]

бывают варианты, что индексирует, но не выдаёт в поиске.