Смогут ли пауки от поисковых машин проиндексировать сжатый по gzip сайт?

[Grey_EM]

Смогут ли пауки от поисковых машин проиндексировать сжатый по gzip сайт?

Смогут ли пауки от поисковых машин проиндексировать сжатый по gzip сайт?
Если смогут то от каких?

 

[tony2001]

http://searchengines.ru/

 

[Sad Spirit]

Если речь о mod_gzip/mod_deflate, то смогут. Пауки просто не отдают заголовок

Accept-Encoding: gzip

и потому получат неупакованный контент. Если речь о tar.gz архиве сайта, то вряд ли.

 

[bobik]

Re: Смогут ли пауки от поисковых машин проиндексировать сжатый по gzip сайт?

Автор оригинала: Grey_EM
Смогут ли пауки от поисковых машин проиндексировать сжатый по gzip сайт?
Если смогут то от каких?

Пауки- не дураки.
Им не хочется распаковывать прилетевший к ним сжатый gzip-ом контент ресурса (сжимает Апач (например)), поэтому они в хеадере запроса посылают-
Accept-Encoding: none
Апач, видя, что тот, кто запрашивает, не поддерживает сжатие gzip, отдает несжатый контент.

 

[Alien]

Accept: text/html
Accept-Language: ru, *;q=0.01
Connection: Keep-Alive
From: [email protected]
Host: (skip)
User-Agent: Yandex/1.01.001 (compatible; Win16; I)

Хотя странно. Траффика не жалко им что ли?

 

[DiMA]

А чего желеть? У крупных хостеров трафик по 2-5 центов за Гб.