Создание и синтаксис robots.txt

[Krisha]

Создание и синтаксис robots.txt

Вопрос немного не в тему...

Подскажите, плиз, ссылочку, где можно прочитать о синтаксисе robots.txt, кое-что нашлось, но как та мало...

За одно, может быть подскажете о доке, в которой описываются META тэги, а точнее всевозможные их варианты.

Спасибо.

 

[DiMA]

о поисковых машинах в курсе?

 

[Fish]

Автор оригинала: DiMA
о поисковых машинах в курсе?

http://www.rambler.ru/doc/robots.shtml

вроде тут более-менее внятно описано, кратко и понятно

 

[Krisha]

Автор оригинала: Fish


http://www.rambler.ru/doc/robots.shtml

вроде тут более-менее внятно описано, кратко и понятно

Сенкс, нечто подобное я, правда, уже читал, тока менее подробно...

Так что, кроме :

User-agent:
Disallow:

Там вообще больше ниче нема ?

 

[Krisha]

Автор оригинала: DiMA
о поисковых машинах в курсе?

В курсе, и что дальше ?

 

[Fish]

Автор оригинала: Krisha


Сенкс, нечто подобное я, правда, уже читал, тока менее подробно...

Так что, кроме :

User-agent:
Disallow:

Там вообще больше ниче нема ?

а чего тебе еще-то нада?
мало что ли?
пишешь для всех поисковых машин
User-agent: *
ну и Disallow: закрываешь путь к скриптам.. и все..
или ваще ниче не закрываешь..

 

[Krisha]

Автор оригинала: Fish


а чего тебе еще-то нада?
мало что ли?
пишешь для всех поисковых машин
User-agent: *
ну и Disallow: закрываешь путь к скриптам.. и все..
или ваще ниче не закрываешь..

Ну, что же, теперь усё понятно, не думал, что всё так просто.

Благодарю!

 

[Fish]

Автор оригинала: Krisha


Ну, что же, теперь усё понятно, не думал, что всё так просто.

Благодарю!

незачто, всегда рад помочь..

 

[denisb]

А вообще про robots.txt вся спецификация вот здесь:
http://www.robotstxt.org/wc/robots.html

 

[Krisha]

Автор оригинала: denisb
А вообще про robots.txt вся спецификация вот здесь:
http://www.robotstxt.org/wc/robots.html

Тоже самое я уже по-русски читал... но все равно спасибо за линк