ускорить работу скрипта

  • Автор темы Автор темы vornold
  • Дата начала Дата начала

vornold

Новичок
В общем парсю свой собственный сайт на html, хочу в БД все перегнать
Есть список ключей - 203 штуки и есть 30000 записей.
Написал скрипт, чтоб прогонял каждый ключ по этим 30000 записям и при совпадении заносил в базу.
Выходит очень долго, за час прогоняется около 90000, то есть три ключа.
До этого делал наоборот, каждую запись прогонял по 203 ключей и если были совпадения загонял в базу под категорию ключа, но проблемы с добавлением картинок возникли.

Вот код
http://fpaste.org/41193/97551911/
 
Последнее редактирование:
итого, выдергиваем для каждого из ~200 ключей все 30к записей? Запросом к серверу?
Если "перевернуть" логику и на каждую запись проверять все ключи - запросов к серверу станет в 200 раз меньше.
 
Сперва было так. Но у картинок было бешенное число типа img25000.jpg у меня максимум для каждой модели 500 штук.
все имеют вид xxx1.jpg, xxx2.jpg... xxx500.jpg

http://fpaste.org/41187/13797498/
 
Ну и заведи массив индексов фотографий. Для каждого ключа - свой индекс.
 
там 203 модельки.
Ладно индекс для каждой модельки можно перебором сделать. А как сделать так, чтоб к каждой определенной модельке прибавлялась единичка.

А то на данный момент получается следующее:

motorola1.jpg
nokia2.jpg
acer3.jpg
motorola4.jpg
acer5.jpg

Нужно:
motorola1.jpg
nokia1.jpg
acer1.jpg
motorola2.jpg
acer2.jpg

направьте на путь истинный господа ;)
 
то есть мы теперь реально верим, что человек по http парсит СВОЙ сайт???
 
Ну да. Могу по секрету в личку ссылочку скинуть. Сперва по файлам думал, но личная неприязнь ко всем этим fopenam.
 
Его это сайт, его. Redjik, прокачивай аналитический скилл.
Я вот например еще и знаю, что автор - веган.
 
Ну вопрос же не в этом, парсю свой сайт, если не веришь могу предоставить ссылку и здесь отписаться, чтоб таких же сомнительных меньше было
Если по существу, то нужна помощь по поводу картинок, о которых выше писал.
 
Можно было через google img все узнать ;)
Ладно дальше думаю как быть.
 
http://fpaste.org/41239/77959713/
все сделал. Теперь возник вопрос: почему в базу добавляется только 600 записей , после чего следующие 600 статей не парсятся и начиная с 1200 снова начинает работать?
 
Последнее редактирование:
Сверху