Да всё, что угодно. Например, составить список директорий и файлов которые в них есть, (пути / имена / даты последнего обновления). Чтобы поиск вести в определённом месте, исключая определённые файлы.
Google, к примеру, не шарит же по всей сети после каждого запроса, а пользуется своей систематизированной базой, в которую попадают индексированные сайты, т.е. на которых он собрал для себя нужную информацию.