Конвертация сайта в статичный html ?

[sssr]

Конвертация сайта в статичный html ?

Есть у меня сайт , скажем с посещяемостью в 10к в день.
По замыслу я хочу чтобы сайт кешировался каждый день в 00:00 ,дабы избежать лишнего обращения к муске, по крону запускается скрипт и пишет все это дело в статичный html код.

Так вот у меня вопрос по подходу написания данного скрипта
и каковы ступени и логика реализации ?

Есть конечно подход со связкой smarty и snoopy но все-таки хочется что-то свое.

есть мое видение этого процесса :
1) пишем паука (симулятор браузера)
-Процедуры паука
--a) Разбор ответов сервера ->
--б) Получение содержимого страницы ->
---1) Кеширование в html .
--в) Парсинг на наличие ссылок на тот же домен ->
--г) Помещение ссылок в массив с учетом отсутствия оных ->
--д) Запрос на получение страниц ->a)

2) запуск паука в 00-00 по крону
-----------------------------------------------
Давайте обсудим - какие есть ещё пути ?

 

[Макс]

вариант "дешево и сердито" с обычным серверным кешированием не подходит ?

-~{}~ 24.12.04 15:26:

вообще статику имеет смысл генерировать только для реально посещаемых и "тяжелых" страниц (обычно это облегчает написание генератора статики)

 

[neko]

самое сердитое это поставить харвест и не думать

 

[sssr]

Все дело в колл-ве записей их порядка 100к ,
вот почему именно такой подход небходим.

Серверное кеширование не подходит по причине динамических страниц и ModRewrite , а также лишает необходимости тесного контакта с админом.

 

[neko]

клево объяснешь
если тебе нужен тесный контакт с админом ты точно ошибся форумом
и что такое серверое кэширование?
это в противоположность кешу браузера чтоли?

 

[Макс]

Серверное кеширование не подходит по причине динамических страниц и ModRewrite , а также лишает необходимости тесного контакта с админом.

дык, серверное кеширование как раз для динамических страниц и делается

 

[sssr]

Originally posted by neko
клево объяснешь
если тебе нужен тесный контакт с админом ты точно ошибся форумом

Neko Ты читать умеешь ?
Если нет , свали обратно в свою песочницу куличики строить!
Если ты что не в состоянии понять из того что я пишу - читай заново пока не дойдет .

и что такое серверое кэширование?
это в противоположность кешу браузера чтоли?

Без комментариев.

 

[neko]

Neko Ты читать умеешь ?

умею

Если нет , свали обратно в свою песочницу куличики строить!

головой не болеешь?
витамины регулярно принимаешь?

Если ты что не в состоянии понять из того что я пишу - читай заново пока не дойдет .

ты сильно переоцениваешь эту ересь
а все потому, что сам непонимаешь что пишешь

Без комментариев.

потрудись ты их дать, глупость написаного стала бы очевидна

 

[sssr]

Originally posted by Макс
дык, серверное кеширование как раз для динамических страниц и делается

Этот метод не подходит для меня -
1) процесс удаленно не управляем
2) что именно кешировать и когда хочется решать мне а не
тратить время на разговоры с админом.


-~{}~ 24.12.04 16:22:

Originally posted by neko
умею

Кто же это тебе сказал эдакую глупость - твоя классная руководительница ?

головой не болеешь?
витамины регулярно принимаешь?

Это не твоя забота .

ты сильно переоцениваешь эту ересь
а все потому, что сам непонимаешь что пишешь

Свое плохое настроение держи при себе.
Если и Ересь то только для больной головы.


потрудись ты их дать, глупость написаного стала бы очевидна [/QUOTE]
Лучше прочти в другом месте.

 

[Макс]

1. общие слова
2. серверным кешированием занимается программист, а не админ.

Ты вообще о каком кешировании говоришь ?
Я имею ввиду программное кеширование по аналогии со смарти или pear::cache::lite:: output

 

[neko]

о каком он сам к сожалению не знает

 

[Фанат]

sssr, мне кажется ,проблема в том, что ты обыденную, в общем-то, достаточно проходную проблему представляешь себе чем-то грандиозным. а сам себе кажешься очень важным, озаботившись оной.
поэтому-то какие-то примитивные решения тебя и не устраивают. У гигантской проблемы должно быть неподъемное решение.

KISS

 

[sssr]

Originally posted by Макс
1. общие слова
2. серверным кешированием занимается программист, а не админ.

Ты вообще о каком кешировании говоришь ?
Я имею ввиду программное кеширование по аналогии со смарти или pear::cache::lite:: output

Именно програмное кеширование а не ,к примеру ,Сквидовское.

-~{}~ 24.12.04 16:47:

Originally posted by Фанат
sssr, мне кажется ,проблема в том, что ты обыденную, в общем-то, достаточно проходную проблему представляешь себе чем-то грандиозным. а сам себе кажешься очень важным, озаботившись оной.

Этим не страдаю.
И относиться к любому решению серьезно я считаю нормальным. У кого-то опыта больше у кого-то меньше что тут
предрассудительного.

поэтому-то какие-то примитивные решения тебя и не устраивают. У гигантской проблемы должно быть неподъемное решение.

Кто это сказал ?
Именно про программный тип кеширования я просил поделиться мнением .

KISS

-~{}~ 24.12.04 16:55:

Может лучше вернуться к первому посту , а не заниматься полемикой.

 

[Sad Spirit]

Автор оригинала: sssr
Есть у меня сайт , скажем с посещяемостью в 10к в день.
По замыслу я хочу чтобы сайт кешировался каждый день в 00:00 ,дабы избежать лишнего обращения к муске, по крону запускается скрипт и пишет все это дело в статичный html код.

Первый и очевидный вопрос, который хммм... коллеги не сподобились хмммм.... вербализовать: а нужны ли такие заморочки для данного конкретного сайта?

есть мое видение этого процесса :
1) пишем паука (симулятор браузера)
-Процедуры паука
--a) Разбор ответов сервера ->
--б) Получение содержимого страницы ->
---1) Кеширование в html .
--в) Парсинг на наличие ссылок на тот же домен ->
--г) Помещение ссылок в массив с учетом отсутствия оных ->
--д) Запрос на получение страниц ->a)

Алгоритм работы паука кажется с первого взгляда правильным --- у меня, по крайней мере, такой же.

 

[Кром]

Вы не поняли.
Этот товарищ с хамскими замашками, к сайту отношение не имеет никакого.
Он тут сидит и ждет, когда ему подскажут как с сайтов названия почтовых ящиков и т.д. тягать.
Поэтому серверное кеширование ему нафиг не нужно, а админов он просто знать не может.
Это видно в каждом его ответе.

 

[Sad Spirit]

::пожимает плечами::
мне это пока не слишком очевидно. но вот на сообщения г-на neko у меня уже почему-то руки чешутся.

 

[Кром]

>мне это пока не слишком очевидно. но вот на сообщения г-на neko у меня уже почему-то руки чешутся.

neko просто сразу понял, что товарищу надо. А товарищ сразу не понял. Термина не понял. Отсюда - флейм.

 

[sssr]

Originally posted by Кром
Вы не поняли.
Этот товарищ с хамскими замашками, к сайту отношение не имеет никакого.

1) Если бы тебя товарищ Кром , на твой вполне нормальный вопрос , отправили бы куда по дальше ты бы что сидел и молчал в тряпочку ?

2) Лучше свое мнение (необоснованное) держи при себе на
счет сайт(а/ов) и почтовых ящиков - а если и постишь то аргументируй, из кого контекста ты сделал этот вывод.

Он тут сидит и ждет, когда ему подскажут как с сайтов названия почтовых ящиков и т.д. тягать.
Поэтому серверное кеширование ему нафиг не нужно, а админов он просто знать не может.
Это видно в каждом его ответе.

Да ты что - думаешь мне сложно набрать в гугле поиск на
харвестр E-mail`ов.
Если бы такая проблема и стояла то меня бы здесь небыло.
Мдаа.. это уже не нормально когда в каждом видит спамера -
видать достали они тебя .




Г-н Neko сам вынудил на грубость.

-~{}~ 26.12.04 15:02:

Originally posted by Кром
>мне это пока не слишком очевидно. но вот на сообщения г-на neko у меня уже почему-то руки чешутся.

neko просто сразу понял, что товарищу надо. А товарищ сразу не понял. Термина не понял. Отсюда - флейм.

Если бы он понял , то не писал бы чепухи на счет кеширования.
Что же он понял ?

Человек видать гордится тем что у него 2к постов - и потому ведет себя крайне вызывающе по отношению к тем у кого их меньше.

 

[Фанат]

заканчиваем флеймить

 

[sssr]

Больше не буду - если только не вынудят.