Индексация страниц сайта

[Night wanderer]

Индексация страниц сайта

Есть задача проиндексировать страницы сайта...
Вопросзаключается в следующем: как средствами PHP можно осуществить перебор всех страницсайта с занесением тела страницы в БД (с последним проблемнет!).

 

[Кром]

1. Считать страницу в переменную.
2. Найти все ссылки.
3. Положить страницу в базу.
4. Пойти по первой найденной ссылке.

Соответственно все эти этапы много раз обсуждены на форумах phpclub'a. Поиск рулит.

 

[Alexandre]

1. Считать страницу в переменную.
2. Найти все ссылки.
3. Положить страницу в базу.
4. Пойти по первой найденной ссылке.

пунк 0 - прочитать каталог и записать в массив имена файлов страниц.
пункт 5 - повторить пп. 0-4 для подкаталога.

если конечно - нужно проиндексированть свой сайт

 

[kruglov]

Alexandre
Ну, нулевые пункты - если эти каталоги с файлами реально есть, а нам нужно индексировать все существующие страницы, а не те, на которые есть ссылки (разница есть, согласитесь).

Хождение по ссылкам, начиная с главной или карты, мне кажется предпочтительным.

 

[Night wanderer]

Так каким способом можно осуществить вытягивание адреса из страницы... И еще более интересный вопрос: как можно взять код страницы? То есть поместить его в переменную?

 

[Фанат]

пунк 0 - прочитать каталог и записать в массив имена файлов страниц.

хахаха!
Alexandre, жжош! =)
Афтар пешы ещо

-~{}~ 26.08.05 14:31:

Night wanderer
а тебе это вообще зачем?
Судя по твоим вопросам, ты очень слабо представляешь себе, что делаешь.

Зачем тебе индексировать сайт?

 

[Vetal]

Автор оригинала: Night wanderer
Так каким способом можно осуществить вытягивание адреса из страницы...

смотри в сторону регулярных выражений

Автор оригинала: Night wanderer
И еще более интересный вопрос: как можно взять код страницы? То есть поместить его в переменную?

что-то вроде функций file, fopen

за подробностями в пхп-док и поиск