TheAviator
Новичок
как написать spider ?
.. чтобы сливать в базу сайты из списка..
сабж..
хочу сделать поиск по сайтам своего каталога.
т.е. задаю скрипту начальную страницу сайта, а он выгребает потом из нее все в базу.
подскажите примерный алгоритм...
пока что приходит в голову -
1) загрузить первыую страницу в базу
2) найти на ней все ссылки
3) загрузить все страницы по ссылкам с первой и пометить их как прочитанные
4) найти на них ссылки и занечти их в очередь, если они не совпадают с помеченными
Если у кого есть еще идеи - велком, особенно буду раз несложному для понимания скрипту!
.. чтобы сливать в базу сайты из списка..
сабж..
хочу сделать поиск по сайтам своего каталога.
т.е. задаю скрипту начальную страницу сайта, а он выгребает потом из нее все в базу.
подскажите примерный алгоритм...
пока что приходит в голову -
1) загрузить первыую страницу в базу
2) найти на ней все ссылки
3) загрузить все страницы по ссылкам с первой и пометить их как прочитанные
4) найти на них ссылки и занечти их в очередь, если они не совпадают с помеченными
Если у кого есть еще идеи - велком, особенно буду раз несложному для понимания скрипту!