паук для обработки всех страниц сайта

[Rocks]

паук для обработки всех страниц сайта

Добрый день.

Мне нужно реализовать идею проверки PR всех страниц сайта. Даже не знаю, с чего к этой задаче подойти.

Пользователем вводится адрес сайта, и затем начинается поиск страниц этого сайта.

Каким образом это реализовать?

Есть идея: брать 1ю страницу, её анализировать и выбирать все внутренние ссылки, заносить их в базу и идти по ссылкам внутрь сайта. По повторным не ходить. На сколько этот процесс долгий? Какие ещё есть варианты реализации данной проблемы?

 

[kruglov]

Процесс долгий.
Других вариантов нет, разве что ясновидение.
Как вы еще узнаете все ссылки, как только просмотрев все страницы? Надо ж мыслить логически.

 

[Rocks]

А каким образом поисковые роботы ищут новый контент? Так же?

 

[kvf77]

Rocks

да, именно также
хотя их алгоритмы разнятся, скажем они вполне могут просматривать регулярно главную страницу и карту сайта, и редко ппросматривать другие статичные страницы

потому что вероятность изменения первых и наличие на них ссылок на новые страницы тоже выше

 

[Rocks]

ясно. Спасибо!

А не валяется ли где в сети подобный скрипт?

 

[kvf77]

Rocks


да навалом пример - например, на dklab.ru одна из наблов посвящена вопросам поиска - там есть милый паучек насколько я помню

 

[Rocks]

kvf77

Здорово! Спасибо вам громадное!

 

[berkut]

kvf77, Rocks я что-то не нашёл наблу, посвящённую поиску

 

[kvf77]

berkut

значит плохо искал

 

[Rocks]

Автор оригинала: berkut
kvf77, Rocks я что-то не нашёл наблу, посвящённую поиску

см. не в наблах

 

[kost]

Скачайте исходники любого паука на C++ если знаете. Например, wget.

Ну а просто получить все URL'ы данного URL'а легко при помощи Snoopy.
http://sourceforge.net/projects/snoopy/