Log Manager

stalxed

Новичок
В проекте необходима хорошая система логирования.
Писать в файлы - их потом очень тяжело обрабатывать(отображение в веб интерфейсе, поиск)...
Писать в базу данных - нужно возиться со вторым подключением к основной БД, да и желательно использовать какую-нибудь NoSQL БД.
Работы получается много из-за каких логов...
Вспомнилось, что видел лог менеджеры, поискал, нашёл:
https://www.graylog2.org/
Судя по тексту на сайте - монстр, он превышает потребности моей задачи в разы.
Но судя по всему его настройка задача не из лёгких...

Никто не пробовал этот или подобные продукты для ведения логов?
Они стоят того, чтобы с ними разобраться?
 

stalxed

Новичок
Пишем в том же подключение, запись лога попадает в рамки транзакции, транзакция завершается не успешно, откат транзакции - и логи тоже прощайте. Хотя они то и нужны, чтобы понять, почему транзакция откатывается.
А PHP Doctrine 2 дак вообще обрывает подключение в случае не успешной транзакции. И кстати правильно делает.

Погуглил понял, что в принципе 2 решения не SaaS модели:

Что лучше выбрать?
 

AmdY

Пью пиво
Команда форума
Для логирования есть стандарт PSR и его реализация https://github.com/Seldaek/monolog c кучей хэндлеров, не надо велосипедить.
Для логирования ошибок я пользовался errbit-ом
Для логирования всего можно пользоваться datadog-ом, но мне не он не нравится. Самому интересны альтернативы.
 

stalxed

Новичок
Для логирования есть стандарт PSR и его реализация https://github.com/Seldaek/monolog c кучей хэндлеров, не надо велосипедить.
Ну я его сейчас и использую, пишу в файлы.
Написать адаптер, если нет из коробки(к graylog2, logstash, etc) - не проблема.

Для логирования всего можно пользоваться datadog-ом, но мне не он не нравится.
Выглядит очень круто, чем он не понрвился? Ну помимо того, что SaaS(или есть серверная версия?).
 

grigori

( ͡° ͜ʖ ͡°)
Команда форума
rollbar.com getsentry.com ?
модно облачно молодежно, удобно и готово
 

stalxed

Новичок
grigori, спасибо, но забыл дописать, SaaS использовать не могу.
Да у удаленный вызов, чёрт знает куда(нет гарантии что между сервером приложения и SaaS сервисом хороший маршрут), это модно?
Это можно компенсировать локальным сервером очередей - но это уже не вписывается в параметр удобно :)

Два решения уже нашёл:
На неделе потестирую.

Интересно услышать отзывы от тех кто использовал!
 

fixxxer

К.О.
Партнер клуба
elastic + logstash ок. Логстешем, кстати, можно и во что попроще писать, если проект небольшой.
 

stalxed

Новичок
fixxxer, а что используйте как веб морду?
Как можно группировать логи(категории? под категории?)?
Насколько гибкие поисковые запросы можно делать?
 

AnrDaemon

Продвинутый новичок
Выборка логов из файлов по параметрам, если нужно сделать выборку за месяц, и отобразить всё на странице, с пагинаций - весьма нетривиально.
Дело не в тривиальности, дело в постановке и оценке условий.
Потом, никто не заставляет ХРАНИТЬ логи в файлах, и тем более отображать информацию из лог-файлов в реалтайм. Такие вещи, как awstat и подобные, придумали годы назад.
 

stalxed

Новичок
Дело не в тривиальности, дело в постановке и оценке условий.
Потом, никто не заставляет ХРАНИТЬ логи в файлах, и тем более отображать информацию из лог-файлов в реалтайм. Такие вещи, как awstat и подобные, придумали годы назад.
Вы говорите про статистику использования. Т.е. о составление отчетов по логам.
А я о логирование действий(т.е. действий бизнес логики). Нужны не отсчёты, а рейл тайм лог с возможностью поиска, разбиения на страницы и т.д.
 

fixxxer

К.О.
Партнер клуба
fixxxer, а что используйте как веб морду?
Как можно группировать логи(категории? под категории?)?
Насколько гибкие поисковые запросы можно делать?
Форк кибаны. Делать можно что угодно, кибана это ж обычное ангуляр приложение
 

grigori

( ͡° ͜ʖ ͡°)
Команда форума
stalxed, тебе шашечки или ехать?
да, удаленный вызов - это модно, я написал в форме шутки не случайно :)

устраивать зверинец с jre для логов - я бы затрахался это мэйнтейнить, при переезде бессонная ночь обеспечена, а если ты уйдешь - те, кто останется, еще долго будут тебя ненавидеть
впрочем, если у тебя гигабайты логов в проекте и целый devops-отдел - нет проблем, enterprize-решения как-раз подойдут
 
Последнее редактирование:

stalxed

Новичок
Форк кибаны. Делать можно что угодно, кибана это ж обычное ангуляр приложение
Спасибо, буду тестить.

grigori
,
устраивать зверинец с jre для логов
именно это больше всего и пугает... там 3 программы получается: elasticsearch, kibana, elasticsearch - жесть :(

SaaS не могу использовать по требованиям(нельзя SaaS и всё такое).
Выбор между "зверинцем" и самописом...
 

grigori

( ͡° ͜ʖ ͡°)
Команда форума
щито? Отключил handler с elastic search и все.
Потом неделю этот зоопарк восстанавливать на новом сервере.
За это время логи валятся в файлы, у кодеров текут сопли потому что привыкли красивенько, у тестеров красный чеклист, у менеджеров панический удар, у владельца вопрос кого уволить.

Если в проекте несколько команд, и нужен зверинец - нужны девопсы.
Если их нет - я бы эту подсистему вынес на виртуалку и отдал maintenance на аутсорс серьезной команде админов. Когда мне надо будет это восстановить-переехать - я им это и поручу.
И швец, и жнец - дорога в ад.
 
Последнее редактирование:

fixxxer

К.О.
Партнер клуба
Нормальные девопсы заранее завернут все подсистемы в докер, их конфигурацию в puppet/ansible, и развернут на раз-два.

А мейнтененс системы php-программистами - это в любом случае плохая идея. :)
 
Сверху