Меню
Что нового?

Запрет динамических ссылок для поисковых ботов с помощью php

Гриша К.

Новичок
Запрет динамических ссылок для поисковых ботов с помощью php

Здравствуйте.

Есть задача запретить индексацию некоторые динамические ссылки поисковыми ботами (в зависимости от пораметров содержащихся в ссылке). Например ссылки для сортировки товаров в каталоге, по цене, по названию и т.д.
Параметров много. Порядок их хаатичный.
Если запрещать с помощью robots.txt, необходимо перечислять все возможные варианты.
Если запрещать с помощью meta-тэга robots, его учитывают не все.

Возможно можно передать в браузер какйо-либо заголовок, который не повлияет на отображение страницы, но посиковый бот такую страницу не будет индексировать. header()

---------
Или к примеру, есть url /catalog/?cat_id=1&sort=price&desc=1
Если я буду использовать moder_rewrite для преобразования url, и сделаю его вида /catalog/1/?sort=price&desc=1
а в robots.txt пропишу: Disallow: /?
в таком случае в robots.txt я запрещаю какую ссылку, которая преобразована или реальную?
 

maxru

МИФИст
Если запрещать с помощью meta-тэга robots, его учитывают не все. - Откуда у Вас такие данные?
 

Гриша К.

Новичок
maxru, спасибо за ответ.
Ну вот один пример статьи о том что мета-тэг robots восприниматеся не всеми: http://www.metasset.com/information/seo/indextion.html
 

maxru

МИФИст
А почему ты вдруг решил верить статье, написанной неизвестно кем, неизвестно на каком сайте. Там же ни одного факта. Я тоже могу сказать "Яндекс специально опускает морды некоторых сайтов в выдаче". Но эти слова я, например, могу аргументировать тем, что морда сайта в других поисковых системах по этим же ключевикам находится на 1х местах, и это можно проверить. А твои слова проверить можно только статистикой. Поставь нормальную систему подсчета статистики, заблокируй страницы через meta и смотри сколько будет переходов от роботов и от каких. (Емэйл-серчеров, конечно никакие meta не волнуют, но "белые" боты свято соблюдают правила игры).
 

iceman

говнокодер
в USER-AGENT пишется что это поисковой бот... (в основном)
 

maxru

МИФИст
Ты, млин, посмотри, если, например, через nofollow у тебя будет бот Яндекса или Гугла ходить, значит это точно конь... троянский... в пальто..., а никакой не Гуглбот ). И вообще просто тупо составь статистику заходов (какое-то время понадобится), а потом проверяй regex'ом USER-AGENT'ы, неугодных тебе не пускай на динамику. Ну и админку создай для редактирования "черного списка" )
 
Войдите или зарегистрируйтесь для ответа.
Сверху