Использование PHP для написания "пауков"

[_RVK_]

работать тоже...

 

[_RVK_]

(случайно)

 

[Alien]

>Можно ли вообще писать на PHP такие программы.

Тебе сколько инфы надо стянуть? Сотню другую тысяч страниц - потянет. Для этого пхп вполне хватит.

>Всё работает, но настораживает то что работает это на протяжении нескольких часов. (сколько конкретно пока не тестировал).

Определи узкое место.
Может канал слабый. Может ты парсишь через ... нерационально.

>Ты скорость своего паука представляешь себе?! Ты сайт с narod.ru будешь неделю тянуть

Нормально он будет тянутся. До тех пор пока ему яндекс ип-шник не заблокирует

Кстати в догонку - делать толпу запросов на один сайт - плохой тон. Когда то на альтависту (если не ошибаюсь) по этому поводу жаловались - их робот сайты ложил индексированием ...

 

[_RVK_]

Сотню другую тысяч страниц - потянет

Даже мньше. не больше 50000

Определи узкое место.
Может канал слабый. Может ты парсишь через ... нерационально.

Да нет, просто трафик большой, вот и медленно. Парсю так. Сначала по одному регу выбераю нужную инфу. Потом другим регом убиваю мусор

 

[Crazy]

Автор оригинала: young
Объяснитесь?!

Объясняю: в win32-версии этой функции нет вообще. Соответственно, она не может "работать" или "не работать".