индексация сайта. формирование robots.txt

SID

ReadOnlyТеаm
индексация сайта. формирование robots.txt

Есть некий сайт с каталогом товаров.
Структура ссылок примерно следующая:
/index.php?id=N(id товара)
/index.php?id=N(id товара)&product=print
/index.php?id=N(id товара)&product=image

необходимо закрыть через robots.txt индексацию всех страниц вида:
/index.php?id=N(id товара)&product=print
/index.php?id=N(id товара)&product=image

а страницы вида:
/index.php?id=N(id товара) - оставить открытыми для индексации.

Как правельно составить содержимое файла robots.txt ?
 

Alexandre

PHPПенсионер
я бы испоьлзовал мод_реврайт и привелбы сылки к ЧПУ виду
mysite.ru/goods/id
mysite.ru/product/print/goods/id
mysite.ru/product/images/goods/id

и воответственно закрылбы для индексации все директории
mysite.ru/product/print
mysite.ru/product/images
 

SID

ReadOnlyТеаm
Alexandre
Вот и я об этом подумал. :/
проблема только в том, что "теряется" примерно 90% всех проиндексированных страниц на сайте.
От динамической генерации robots.txt тож пришлось отказаться когда подсчитал примерное количесво страниц которые нужно будет закрывать.

Вопщем понятно, ЧПУ оптимальный вариант + нервное курение в уголке пока поисковики не проиндексируют весь сайт по новой.
 

Kelkos

Сам себе программер
Вопщем понятно, ЧПУ оптимальный вариант + нервное курение в уголке пока поисковики не проиндексируют весь сайт по новой.
ну зачем.. можно и "плавно" перейти на новые урлы.. в параллель начинаешь формировать модреврайтовые запросы, но старые пару недель продолжаешь обрабатывать.. потом старые закрываешь в роботс.. ну и через месяц можешь даже старые и не обрабатывать.. их уже не будет..
 

SID

ReadOnlyТеаm
Kelkos
спасибо за идею, сам что то не сообразил.
 
Сверху