В данной статье я расскажу про жизненный цикл одной важной задачи - “Настроить сбор/парсер логов в Kubernetes”. Или “Почему мы решили написать свой оператор для сбора логов в Kubernetes”.

https://habr.com/ru/post/698526/?utm_source=habrahabr&utm_medium=rss&utm_campaign=698526

Современные запросы к Web-сервисам представляют собой сложные вещи. Сервис, к которому вы обращаетесь, может сам вызывать другие сервисы, те - третьи и т. д. Все эти запросы могут идти параллельно. Конечно, система логирования хранит информацию со всех участвовавших в запросе сервисов, но с учётом того, что часы на разных сервисах могут быть рассинхронизированы, восстановить полную картину можут быть непросто. А если добавить сюда посылку и обработку сообщений через различные очереди (Azure EventHub, RabbitMQ, ...), то картина становится ещё более запутанной.

Здесь я попытаюсь создать такую систему, которая могла бы очень быстро строить для меня диаграмму последовательности событий (sequence diagram), происходящих во время моего запроса.

Итак, начнём.

https://habr.com/ru/post/696004/?utm_source=habrahabr&utm_medium=rss&utm_campaign=696004

Привет! Хочу поделиться историей миграции сервисов логирования и трейсинга с компонентов Elastic Stack на Grafana Stack и тем, что из этого вышло. До миграции у нас в М2 использовались достаточно классические схемы:

https://habr.com/ru/post/693504/?utm_source=habrahabr&utm_medium=rss&utm_campaign=693504

Sentry из коробки поддерживает большое множество средств для авторизации, появилась необходимость использовать уже существующие учетные записи с нужными правами.

Из этого появилась небольшая статья по установке Sentry Self-Hosted и подключения к LDAP.

https://habr.com/ru/post/691140/?utm_source=habrahabr&utm_medium=rss&utm_campaign=691140

Стандартный логгер OpenFeign предоставляет весьма неудобный подход в логировании коммуникаций — он записывает запрос отдельно от ответа, причём каждый заголовок и тело - это отдельная строка логов.

Очень неудобно разбирать такие логи в приложении с высоким уровнем коммуникаций, особенно в многопоточной среде.

Решение ‘Normalized Logger’ нацелено исправить этот изъян - этот логгер собирает в одну запись будущего лога запрос и ответ - теперь они не будут разбросаны.

https://habr.com/ru/post/678916/?utm_source=habrahabr&utm_medium=rss&utm_campaign=678916

Всем доброго времени суток, это моя первая статья на Habr, надеюсь, это будет кому-то интересно. В этой статье пойдет речь о очень не побоюсь это слова старом, но заслуженном программном решении для ведения журнала. Ведение журнала — это процесс записи действий и состояния приложения во вторичный интерфейс, возможно, в файл или базу данных. Но всегда возникает вопрос, какая информация нам нужна для регистрации в нашем, какие действия и какое состояние приложения мы должны записывать? Можно вести журнал по разным причинам, допустим, вам нужно наблюдать за действиями и состоянием приложения, или использовать журнал для создания статистики, касающейся применения вашего приложения.

https://habr.com/ru/post/668712/?utm_source=habrahabr&utm_medium=rss&utm_campaign=668712

Писать, собирать, агрегировать и сохранять логи для последующего анализа важно: это наиболее подробное представление того, как работает система.

Логи можно собирать и отправлять в централизованную систему по-разному, например используя библиотеки в самом приложении или сторонние агенты вроде Filebeat, Fluent Bit, Vector. Есть множество систем хранения вроде Elasticsearch, Loki, Splunk, файлы на диске или объекты в S3.

Мы в М2 тоже занимаемся этим вопросом и постоянно ищем схемы и инструменты, помогающие улучшать централизованную систему логирования. Я, как инженер развития инфраструктуры, непосредственно принимаю в этом участие. В статье хотел бы поговорить об этапе агрегации и поделиться нашими наработками.

https://habr.com/ru/post/660909/?utm_source=habrahabr&utm_medium=rss&utm_campaign=660909

В этой статье я собираюсь представить вам Lightrun, очень полезный инструмент, который я обнаружил недавно при разработке RevoGain, помогающий мне отлаживать проблемы, возникающие в продакшене.

Lightrun не похож ни на один другой инструмент, который я использовал раньше, поскольку он позволяет нам динамически вставлять записи в журнал во время выполнения, делать снимки и даже вводить метрики без изменения вашего производственного кода.

Это особенно полезно при расследовании сообщённых клиентами проблем, поскольку мы можем выяснить причину проблемы, в то время как пользователь выполняет действия, которые могут воспроизвести проблему. Круто, правда?

https://habr.com/ru/post/655365/?utm_source=habrahabr&utm_medium=rss&utm_campaign=655365