hubribubri
Новичок
1) импортировать log файл доступа к сайту в базу данных mysql.
2) база данных должна содержать следующие данные:
- ip посетителя
- время посещения
- тип запроса (Get, Post)
- путь запроса
- код ответа сервера (200, 404, 304 и прочие возможные)
- юзер агент, с которого посещалась страница
3) в базу данных заносить только те запросы, которые были к php, html, phtml
файлам и папкам. Обращение к изображениям, файлам стилей, к иконкам
favicon.ico отсеивать при импорте и в базу заносить не надо.
4) после импорта файла, нужно написать скрипт, который буде формировать
статистику по базе данных.
5) таблица статистики должна быть сформирована так, чтобы можно было
посмотреть:
- кол-во хитов за выбранный день и за все время
- кол-во хостов (уникальных посещений) за выбранный день и за все время.
Критерием уникальности является ip адрес.
- самые популярные страницы за выбранный день и за все время
Дополнительные примечания: никаких рассчетов и дополнительных операций по
обработке информации во время импорта файла в базу производится не должно.
Вся статистика должна формироваться скриптом по информации из базы данных.
При анализе учитывать только страницы с кодом ответа 200 (успешно).
Скрипт должен быть написан рационально и выполнять поставленные задачи за
минимальный промежуток времени. Как импорт так и получение статистики должно
происходить быстро. Приоритетом является скорость получения статистики.
(Добавление)
Если бы не приходилось использовать mysql, если использовать какой нибудь текстовый файл в место базы, то я могу написать, но я с ней никогда не работал, поможете разобраться?
один из Log файлов:
109.194.10.22 - - [13/Jul/2010:00:03:26 +0400] "GET / HTTP/1.0" 200 16107 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:03:27 +0400] "GET /common/style.css HTTP/1.1" 200 1510 "http://www.romanova-tour.ru/" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:03:27 +0400] "GET /common/func.js HTTP/1.1" 200 498 "http://www.romanova-tour.ru/" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:03:27 +0400] "GET /favicon.ico HTTP/1.0" 200 4806 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:03:57 +0400] "GET / HTTP/1.0" 200 16107 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:03:57 +0400] "GET /common/style.css HTTP/1.1" 304 0 "http://www.romanova-tour.ru/" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:03:57 +0400] "GET /common/func.js HTTP/1.1" 304 0 "http://www.romanova-tour.ru/" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:03:58 +0400] "GET /favicon.ico HTTP/1.0" 200 4806 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:04:05 +0400] "GET / HTTP/1.0" 200 16107 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
89.189.22.156 - - [13/Jul/2010:00:06:46 +0400] "GET /pages/id/kustorka.html HTTP/1.0" 200 6508 "http://www.google.ru/search?client=safari&rls=en&q=Кусторка&ie=UTF-8&oe=UTF-8&redir_esc=&ei=z3Q7TKTJBI-mOIT1mNgJ" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /common/func.js HTTP/1.1" 200 498 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /common/style.css HTTP/1.1" 200 1510 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /files/visa.gif HTTP/1.1" 200 1354 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /menu/milonic_src.js HTTP/1.1" 200 5751 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /anima/1.jpg HTTP/1.1" 200 10241 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /anima/flash2.swf HTTP/1.0" 200 10021 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /anima/flash1.swf HTTP/1.0" 200 12244 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /files/maestro.gif HTTP/1.1" 200 1558 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:48 +0400] "GET /anima/3.jpg HTTP/1.1" 200 5764 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:48 +0400] "GET /anima/4.jpg HTTP/1.1" 200 10346 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:48 +0400] "GET /menu/mmenudom.js HTTP/1.1" 200 29683 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:49 +0400] "GET /anima/fon2.jpg HTTP/1.1" 200 436 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:49 +0400] "GET /anima/fon-l.jpg HTTP/1.1" 200 432 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
2) база данных должна содержать следующие данные:
- ip посетителя
- время посещения
- тип запроса (Get, Post)
- путь запроса
- код ответа сервера (200, 404, 304 и прочие возможные)
- юзер агент, с которого посещалась страница
3) в базу данных заносить только те запросы, которые были к php, html, phtml
файлам и папкам. Обращение к изображениям, файлам стилей, к иконкам
favicon.ico отсеивать при импорте и в базу заносить не надо.
4) после импорта файла, нужно написать скрипт, который буде формировать
статистику по базе данных.
5) таблица статистики должна быть сформирована так, чтобы можно было
посмотреть:
- кол-во хитов за выбранный день и за все время
- кол-во хостов (уникальных посещений) за выбранный день и за все время.
Критерием уникальности является ip адрес.
- самые популярные страницы за выбранный день и за все время
Дополнительные примечания: никаких рассчетов и дополнительных операций по
обработке информации во время импорта файла в базу производится не должно.
Вся статистика должна формироваться скриптом по информации из базы данных.
При анализе учитывать только страницы с кодом ответа 200 (успешно).
Скрипт должен быть написан рационально и выполнять поставленные задачи за
минимальный промежуток времени. Как импорт так и получение статистики должно
происходить быстро. Приоритетом является скорость получения статистики.
(Добавление)
Если бы не приходилось использовать mysql, если использовать какой нибудь текстовый файл в место базы, то я могу написать, но я с ней никогда не работал, поможете разобраться?
один из Log файлов:
109.194.10.22 - - [13/Jul/2010:00:03:26 +0400] "GET / HTTP/1.0" 200 16107 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:03:27 +0400] "GET /common/style.css HTTP/1.1" 200 1510 "http://www.romanova-tour.ru/" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:03:27 +0400] "GET /common/func.js HTTP/1.1" 200 498 "http://www.romanova-tour.ru/" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:03:27 +0400] "GET /favicon.ico HTTP/1.0" 200 4806 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:03:57 +0400] "GET / HTTP/1.0" 200 16107 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:03:57 +0400] "GET /common/style.css HTTP/1.1" 304 0 "http://www.romanova-tour.ru/" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:03:57 +0400] "GET /common/func.js HTTP/1.1" 304 0 "http://www.romanova-tour.ru/" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:03:58 +0400] "GET /favicon.ico HTTP/1.0" 200 4806 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
109.194.10.22 - - [13/Jul/2010:00:04:05 +0400] "GET / HTTP/1.0" 200 16107 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 1.1.4322; InfoPath.2)"
89.189.22.156 - - [13/Jul/2010:00:06:46 +0400] "GET /pages/id/kustorka.html HTTP/1.0" 200 6508 "http://www.google.ru/search?client=safari&rls=en&q=Кусторка&ie=UTF-8&oe=UTF-8&redir_esc=&ei=z3Q7TKTJBI-mOIT1mNgJ" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /common/func.js HTTP/1.1" 200 498 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /common/style.css HTTP/1.1" 200 1510 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /files/visa.gif HTTP/1.1" 200 1354 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /menu/milonic_src.js HTTP/1.1" 200 5751 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /anima/1.jpg HTTP/1.1" 200 10241 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /anima/flash2.swf HTTP/1.0" 200 10021 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /anima/flash1.swf HTTP/1.0" 200 12244 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:47 +0400] "GET /files/maestro.gif HTTP/1.1" 200 1558 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:48 +0400] "GET /anima/3.jpg HTTP/1.1" 200 5764 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:48 +0400] "GET /anima/4.jpg HTTP/1.1" 200 10346 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:48 +0400] "GET /menu/mmenudom.js HTTP/1.1" 200 29683 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:49 +0400] "GET /anima/fon2.jpg HTTP/1.1" 200 436 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
89.189.22.156 - - [13/Jul/2010:00:06:49 +0400] "GET /anima/fon-l.jpg HTTP/1.1" 200 432 "http://www.romanova-tour.ru/pages/id/kustorka.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10"
