индексация содержимого страниц с использованием бд

[zaartix]

индексация содержимого страниц с использованием бд

может не совсем в тему топик, господа модераторы, прошу перенести если не туда запостил.

подскажите пожалуйста какой-нибудь готовый скриптик для поиска по сайту, но чтоб индексация проходила не по файлам, а по ссылкам на сайте, т.е. чтоб содержимое из бд тоже индексировалось.
К примеру для индексации указать http://localhost ну и по принципу демонов поисковых систем чтоб скриптик выдрал все ссылки из страницы, и пошел по ним, индексируюя содержимое.

-~{}~ 05.05.04 01:01:

так полагаю либо через fopen ссылочки читать, либо через fsockopen

 

[fixxxer]

если у тебя контент в бд - так не проще ли по бд и искать?

 

[zaartix]

так ведь смешанный контент, так надежнее будет индексация. да и проблем много с "созданием ссылок" для каждой таблицы будет на результатах поиска.
есть неплохой скриптик, но он именно по файлам ищет, уж очень не хочется его индексатор переписывать для парсинга страниц по урлам в них.

-~{}~ 05.05.04 01:56:

http://www.phpdig.net/ - если кому нужен сабж

 

[Silent]

Скажи честно, а сколько скриптов ты пробовал (или хотя бы документацию посмотрел)? Почти каждый может индексировать через HTTP по ссылкам. Вот практически первая строка из документации на PHPdig:

PhpDig follows links like any web browser, to build the pages list to index.

Где здесь написано, что он индексирует только локальные файлы?

 

[zaartix]

пробовал все, что находил, предварительно ознакомившись с документацией.

PHPDig вообще-то я и стал использовать, о чем и написал выше. Он - единственный из найденных мною, который обходит весь сайт по ссылкм.