Индексация динамических ссылок в robots.txt

stifler87

Новичок
Нет у вас ветки о поисковой оптимизации сайтов, поэтому сюда напишу. Есть на сайте ссылки вида /torrent.php?id=78 это полная новость, подскажите как правильно индексировать такие ссылки, и вообще нужно ли? Вот у меня такой robots.txt:

User-agent: *
Allow: /?page=
Allow: /torrent.php?id=
Disallow: /search.php
Disallow: /copyrights.htm
Disallow: /404.htm
Host: testsite.blablabla

Правильно ли так? Сайт на php самописный, я в первый раз это делаю поэтому незнаю как правильнее сделать? Или можно убрать из файла 2,3 строчки и всеравно будет индексировать? Системных файлов типо админки, или профилей нет, по сути это вся структура. Главная, Страница с полным материалом, Страница поиска, все остальное htm файлы, я их прикрыл.
 

antson

Новичок
Партнер клуба
Host: testsite.blablabla
User-agent: *
Disallow: /search.php
перечисляем только, что запрещено

А вот, чтобы искал быстрее добавляем

Sitemap: http://testsite.blablabla/sitemap.xml

в этой xml перечисляем, что когда обновилось . Поддерживается даже дерево. Н-р http://agr.ru/sitemap/map.xml
Ограничения 10метров после распаковки до 50 тысяч страниц. Но можно дальше делить на части. Типа 50 первых тысяч товаров и так далее.
 

stifler87

Новичок
Host: testsite.blablabla
User-agent: *
Disallow: /search.php
перечисляем только, что запрещено

А вот, чтобы искал быстрее добавляем

Sitemap: http://testsite.blablabla/sitemap.xml

в этой xml перечисляем, что когда обновилось . Поддерживается даже дерево. Н-р http://agr.ru/sitemap/map.xml
Ограничения 10метров после распаковки до 50 тысяч страниц. Но можно дальше делить на части. Типа 50 первых тысяч товаров и так далее.
Спасибо за помощь!
 
Сверху