Нестандартный RewriteRule для поисковых роботов

[Avenus]

Нестандартный RewriteRule для поисковых роботов

Здравствуйте!
Подскажите, пожалуйста, как изменить правила RewriteRule для моего случая: поисковые роботы Яндекса, Рамблера и Гугла не индексируют сайт совсем, кроме главной страницы.

Сейчас в .htaccess так

Options -Indexes // Индексация папок, закрывающая доступ для чтения содержимого папки
Options +FollowSymLinks
RewriteEngine on
RewriteCond %{HTTP_HOST} ^www.site.ru$ // Связка адреса сайта с www ...
RewriteRule ^http://site.ru/%{REQUEST_URI} [R=301,L] //  ... с адресом без www
RewriteBase / 
RewriteRule ^.htaccess$ - [F]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
ErrorDocument 404 /index.php  // Страница ошибки 404 - это не надо, уже в теме разобрали

На сайте идет разбор URL

$url=$_SERVER['REQUEST_URI'];
$dir=explode("/",$url);
$par1=isset($dir[1])?$dir[1]:''; // параметр Par1 сразу после слэша, если есть
$par2=isset($dir[2])?$dir[2]:''; // параметр Par2 сразу после 2-го слэша, если есть
// ... и так далее для более глубоких страниц
// Страницы инклудятся по вызову page:
if($par1){
 include $par1.'.php';
}
if($par2){
 include $par2.'.php';
}
// Более глубокие parN обрабатываются внутри страниц, которые инклудятся по par2

Вид URL получается такой

http://site.ru/
http://site.ru/page1/
http://site.ru/page1/page2/
http://site.ru/page1/page2/page3/

Т.е. на сайте есть страницы:
page1.php и page2.php, а page3.php нет, 3 параметр page3 обрабатывается внутри page2.php
Но это не столь важно.

Почему роботы не индексируют такие URL? И что можно добавить в RewriteRule, чтобы они начали индексироваться?

Всем спасибо!

 

[kruglov]

Яндексу снаружи не видно, каким образом у вас страницы на сайте образуются, через mod_rewrite или папки с html-ками лежат.

 

[Avenus]

kruglov Так и что можно сделать?

 

[kruglov]

ErrorDocument 404 /index.php

Ого, а это тут зачем? Вы вообще этой строкой выдаете клиенту (поисковику) код 404 и засоряете логи свои.

 

[Avenus]

Я писал письмо в службу поддержки Яндекса, ответили положительно, т.е. сайт будет индексироваться, но уже 2-ой месяц он не индексируется нигде (Гугл и Рамблер тоже).

-~{}~ 03.12.07 13:28:

kruglov хорошо, код 404 уберу. Спасибо!

-~{}~ 03.12.07 13:31:

Но ведь это не решит проблему?

 

[WoLFiks]

mod_rewrite работает с тегами html?

 

[Avenus]

WoLFiks в смысле?

 

[WoLFiks]

первое условие RewriteCond пытается найти совпадение с <a..........>...</a> ?

 

[Avenus]

Если Вы про то, что в начале темы написаны были теги в RewriteRule, то это я галочку при отправке сообщения "Атоматическое формирование ссылок" не отключил ... уже изменил

 

[WoLFiks]

угу. Теперь все ...

 

[kruglov]

Но ведь это не решит проблему

Почему не решит?
Вы б на месте яндекса индексировали страницы, которые про себя говорять "нас нету"?

 

[WoLFiks]

Стоит просмотреть какие заголовки отсылаются на запрос к странице...

-~{}~ 03.12.07 20:43:

опоздал (

 

[Фанат]

А может убрать просто весь этот .htaccess?

 

[Avenus]

kruglov т.е. это и есть основная причина?
тогда обидно, что из-за глупости 2 месяца потерял.
Спасибо!
P.S. а не знаете как проверить, будет работать индексация или нет? Просто я изменил .htaccess, но на одной из бирж ссылок их робот все равно не индексирует страницы сайта.
Сейчас проверял.

-~{}~ 03.12.07 13:48:

***** Почему?

 

[Фанат]

стоп. я не понял.
ErrorDocument 404 /index.php - это и есть ЗНАЧАЩЕЕ ПРАВИЛО, реализующее ЧПУ?!

 

[Avenus]

ErrorDocument 404 /index.php - ведь убрал уже...

 

[Фанат]

если ты убрал это, то какой смысл во всем остальном файле?
Ну, кроме переброса с www, который и не нужен толком?

 

[Avenus]

Как без этого?

RewriteCond %{REQUEST_FILENAME} !-f 
RewriteCond %{REQUEST_FILENAME} !-d

 

[Фанат]

А ДЛЯ ЧЕГО ЭТО ВООБЩЕ?!

 

[Avenus]

Без этого не будет работать разбор URL, о котором я писал в начале темы.