Поисковые роботы сильно стали нагружать сайт. Что делать?

[evshi]

Хостер говорит, что сайт начал создавать черезмерную нагрузку на сервер. Анализ IP выявил, что львиная часть запросов идет от гугла и яндекса. В связи с чем создали robots.txt и добавил туда:
User-agent: *
Disallow:
Crawl-delay: 10

Несколько дней было все в норме, сейчас опять нагрузка выросла с тех же IP. Что делать?

1. Оптимизировать работу скриптов, но как понять, есть ли сильнонагружающие и если есть, то как их искать?
2. Хостер предлагает взять более дорогой тариф или просто заблокировать заходы с IP поисковиков. Не хочется ни того, ни другого.
3. Может быть можно как-то еще тюнинговать robots.txt?

 

[hell0w0rd]

А что значит нагружают роботы? Если на ваш сайт станет заходить чуть больше народу - у вас такая нагрузка будет постоянна, без поисковых роботов. Вам нужно не robots.txt тюнить, а свой код оптимизировать, искать узкие места и тд и тп

 

[artoodetoo]

Оптимизировать работу скриптов, но как понять, есть ли сильнонагружающие и если есть, то как их искать?

У вас нет самого главного - данных для анализа.
Для начала считайте и протоколируйте время генерации страницы: от точки входа до выхода. У вас ведь есть либо единая точка входа, либо что-то, что вы инклудите в начале каждого скрипта -- поместите туда что-то такое:

$start = mictorime(true);
register_shutdown_function(function() use($start) {
  $time = microtime(true) - $start;
  $msg = sprintf("%.4f: %s\n", $time, $_SERVER['REQUEST_URI']);
  error_log($msg, 3, '/var/log/page-timing.log');
});

Потом, возможно, найдете еще какие-нибудь данные, интересные для разбора и добавите в эту функцию.
За очепятки не ручаюсь, писал из головы. Смысл понятен, надеюсь?

 

[evshi]

А что значит нагружают роботы? Если на ваш сайт станет заходить чуть больше народу - у вас такая нагрузка будет постоянна, без поисковых роботов. Вам нужно не robots.txt тюнить, а свой код оптимизировать, искать узкие места и тд и тп

Да в том то и дело, что если будет чуть больше посетителей, то все будет ок. А по данным, которые предоставляет хостер, нагрузка увеличилась в 2-3 раза. В тоже время по данным счетчика я не вижу такого роста, скорее небольшой спад. Но возможно Яндекс.Метрика просто фильтрует эти заходы, буду узнавать у них.

artoodetoo, спасибо, буду пробовать собирать статистику для анализа предложенным вами способом.

 

[hell0w0rd]

evshi
Роботы к метрике никак не относятся... Я вообще сомневаюсь что гугл загружает картинку метрики, а если и грузит - яндекс отсеивает эти сведения) Для этого есть вебмастер.*
прежде чем что-то делать вы лучше в логи загляните

 

[grigori]

>Роботы к метрике никак не относятся
это утверждение ошибочно

 

[Breeze]

и до сих пор никаких цифр кроме в "2-3 раза"
был 1 запрос в минуту, стало 3 запроса в минуту?
доступа к логам совсем нет?

 

[hell0w0rd]

grigori
А можно подробнее?

 

[grigori]

влом, сорри

 

[hell0w0rd]

@grigori ответ от обратной связи метрики:

Добрый день!

Метрика никаким образом не учитывает индексацию Вашего сайта, а также не влияет на нее. Со своей стороны индексация не влияет на работу Вашего счетчика.

Метрика только отображает статистику посещаемости Вашего сайта.

Так что утверждение правдиво