Поисковой движок или робот

[programmer_2006]

Поисковой движек или робот

У меня стоит задача по созданию поискового робота точнее приложения которое можно настраивать на поиск, легко интегрировать в какой то проект что бы он мог искать допустим начиная от http://phpclub.ru/ и по всем ссылкам(распарсивал строницу ватаскивал ссылки и продолжал поиск),выдавал результаты. Получается как бы и отдельный поисковик и встраиваемый в сайт поисковик.
Посоветуйте проекты или еще что то по этому вопросу, мануал, доку и т.д. кто что знает.
Заранее благодарен.

 

[dark-demon]

http://company.yandex.ru/technology/products/yandex-server.xml

 

[Garret]

Поищи на phpclasses.org по слову spider, я видел там неплохого паучка. Но вообще для серьезного поиска/индексации этого тебе не хватит.

 

[programmer_2006]

Кстати, не ясно себе представляю как должна выглядеть таблица индексации в принципе? какие столбцы? Как повязаны слова и тексты?

 

[boombick]

Над этим думают лучшие умы

 

[antson]

можно глянуть phpdig

 

[Alexandre]

используй готовое решение lucene, mnogosearch

 

[phprus]

Могу так-же посоветовать http://www.dataparksearch.org/

 

[dark-demon]

http://www.google.com/coop/