Log Manager

[stalxed]

В проекте необходима хорошая система логирования.
Писать в файлы - их потом очень тяжело обрабатывать(отображение в веб интерфейсе, поиск)...
Писать в базу данных - нужно возиться со вторым подключением к основной БД, да и желательно использовать какую-нибудь NoSQL БД.
Работы получается много из-за каких логов...
Вспомнилось, что видел лог менеджеры, поискал, нашёл:
https://www.graylog2.org/
Судя по тексту на сайте - монстр, он превышает потребности моей задачи в разы.
Но судя по всему его настройка задача не из лёгких...

Никто не пробовал этот или подобные продукты для ведения логов?
Они стоят того, чтобы с ними разобраться?

 

[Фанат]

нужно возиться со вторым подключением к основной БД

не нужно

желательно использовать какую-нибудь NoSQL БД.

не нужно

 

[stalxed]

не нужно

Пишем в том же подключение, запись лога попадает в рамки транзакции, транзакция завершается не успешно, откат транзакции - и логи тоже прощайте. Хотя они то и нужны, чтобы понять, почему транзакция откатывается.
А PHP Doctrine 2 дак вообще обрывает подключение в случае не успешной транзакции. И кстати правильно делает.

Погуглил понял, что в принципе 2 решения не SaaS модели:

• https://www.graylog2.org/
• logstash + kibana от elasticsearch

Что лучше выбрать?

 

[AmdY]

Для логирования есть стандарт PSR и его реализация https://github.com/Seldaek/monolog c кучей хэндлеров, не надо велосипедить.
Для логирования ошибок я пользовался errbit-ом
Для логирования всего можно пользоваться datadog-ом, но мне не он не нравится. Самому интересны альтернативы.

 

[AnrDaemon]

В проекте необходима хорошая система логирования.
Писать в файлы - их потом очень тяжело обрабатывать

Всё ясно. Хороните товарища.

 

[stalxed]

Для логирования есть стандарт PSR и его реализация https://github.com/Seldaek/monolog c кучей хэндлеров, не надо велосипедить.

Ну я его сейчас и использую, пишу в файлы.
Написать адаптер, если нет из коробки(к graylog2, logstash, etc) - не проблема.

Для логирования всего можно пользоваться datadog-ом, но мне не он не нравится.

Выглядит очень круто, чем он не понрвился? Ну помимо того, что SaaS(или есть серверная версия?).

 

[stalxed]

Всё ясно. Хороните товарища.

Выборка логов из файлов по параметрам, если нужно сделать выборку за месяц, и отобразить всё на странице, с пагинаций - весьма нетривиально.

 

[grigori]

rollbar.com getsentry.com ?
модно облачно молодежно, удобно и готово

 

[stalxed]

grigori, спасибо, но забыл дописать, SaaS использовать не могу.
Да у удаленный вызов, чёрт знает куда(нет гарантии что между сервером приложения и SaaS сервисом хороший маршрут), это модно?
Это можно компенсировать локальным сервером очередей - но это уже не вписывается в параметр удобно

Два решения уже нашёл:

• https://www.graylog2.org/
• logstash + kibana от elasticsearch

На неделе потестирую.

Интересно услышать отзывы от тех кто использовал!

 

[fixxxer]

elastic + logstash ок. Логстешем, кстати, можно и во что попроще писать, если проект небольшой.

 

[stalxed]

fixxxer, а что используйте как веб морду?
Как можно группировать логи(категории? под категории?)?
Насколько гибкие поисковые запросы можно делать?

 

[AnrDaemon]

Выборка логов из файлов по параметрам, если нужно сделать выборку за месяц, и отобразить всё на странице, с пагинаций - весьма нетривиально.

Дело не в тривиальности, дело в постановке и оценке условий.
Потом, никто не заставляет ХРАНИТЬ логи в файлах, и тем более отображать информацию из лог-файлов в реалтайм. Такие вещи, как awstat и подобные, придумали годы назад.

 

[stalxed]

Дело не в тривиальности, дело в постановке и оценке условий.
Потом, никто не заставляет ХРАНИТЬ логи в файлах, и тем более отображать информацию из лог-файлов в реалтайм. Такие вещи, как awstat и подобные, придумали годы назад.

Вы говорите про статистику использования. Т.е. о составление отчетов по логам.
А я о логирование действий(т.е. действий бизнес логики). Нужны не отсчёты, а рейл тайм лог с возможностью поиска, разбиения на страницы и т.д.

 

[fixxxer]

fixxxer, а что используйте как веб морду?
Как можно группировать логи(категории? под категории?)?
Насколько гибкие поисковые запросы можно делать?

Форк кибаны. Делать можно что угодно, кибана это ж обычное ангуляр приложение

 

[grigori]

stalxed, тебе шашечки или ехать?
да, удаленный вызов - это модно, я написал в форме шутки не случайно

устраивать зверинец с jre для логов - я бы затрахался это мэйнтейнить, при переезде бессонная ночь обеспечена, а если ты уйдешь - те, кто останется, еще долго будут тебя ненавидеть
впрочем, если у тебя гигабайты логов в проекте и целый devops-отдел - нет проблем, enterprize-решения как-раз подойдут

 

[stalxed]

Форк кибаны. Делать можно что угодно, кибана это ж обычное ангуляр приложение

Спасибо, буду тестить.

grigori,

устраивать зверинец с jre для логов

именно это больше всего и пугает... там 3 программы получается: elasticsearch, kibana, elasticsearch - жесть

SaaS не могу использовать по требованиям(нельзя SaaS и всё такое).
Выбор между "зверинцем" и самописом...

 

[Вурдалак]

там 3 программы получается: elasticsearch, kibana, elasticsearch

4. Elasticsearch забыл.

 

[Вурдалак]

при переезде бессонная ночь обеспечена, а если ты уйдешь - те, кто останется, еще долго будут тебя ненавидеть

щито? Отключил handler с elastic search и все.

 

[grigori]

щито? Отключил handler с elastic search и все.

Потом неделю этот зоопарк восстанавливать на новом сервере.
За это время логи валятся в файлы, у кодеров текут сопли потому что привыкли красивенько, у тестеров красный чеклист, у менеджеров панический удар, у владельца вопрос кого уволить.

Если в проекте несколько команд, и нужен зверинец - нужны девопсы.
Если их нет - я бы эту подсистему вынес на виртуалку и отдал maintenance на аутсорс серьезной команде админов. Когда мне надо будет это восстановить-переехать - я им это и поручу.
И швец, и жнец - дорога в ад.

 

[fixxxer]

Нормальные девопсы заранее завернут все подсистемы в докер, их конфигурацию в puppet/ansible, и развернут на раз-два.

А мейнтененс системы php-программистами - это в любом случае плохая идея.