Формат и семантика файла robots.txt

[Pendos]

Формат и семантика файла robots.txt

Не могу найти пример подходящий.
Может кто знает как запретить индексацию страниц, путь к которым заканчивается папкой PRINT

к примеру

http://***.com.ua/ru/tips/PRINT/
http://***.com.ua/ru/help/PRINT/
http://***.com.ua/ru/php_news/PRINT/

изначально не известно сколько будет страниц

 

[Лисю]

чё-то эти роботсы имхо не работают...

 

[phprus]

Pendos
Никак. Можно запретить только адреса начинающиеся с чего нибуть, но не заканчивающиеся на что либо.
Лисю
Если соблюдать стандарт файлов robots.txt то работают.

 

[Лисю]

phprus
я понимаю. но они у меня не работают реально. по крайней мере для Яндекса.

 

[ys]

Для яндекса, все написано на самом яндексе
http://www.yandex.ru/info/webmaster2.html

-~{}~ 25.08.05 17:03:

Оттуда же следует, что для автора Pendos:

В простейшем виде (разрешено все, кроме директории скриптов) файл robots.txt выглядит следующим образом:
User-Agent: *
Disallow: /cgi-bin/

 

[Pendos]

ну,
робот не будет тянуть что ниже цги-бин
и все

короче, слабая функциональность разработана для robot.txt