Митап: Как справляться с «пожарами» в разработке и сопровождении продуктов

На митапе мы поговорим о том, как справляться с «пожарами» в разработке и сопровождении продуктов с помощью современных практик Observability и умного алертинга.

Рост сервисов и высокие нагрузки всегда сопряжены с рисками: медленные ответы, ошибки, неожиданные падения. Совсем избежать инцидентов невозможно. Но команда должна успевать раньше, чем бизнес почувствует потери.

Митап будет полезен как менеджерам, которым важно держать под контролем надежность сервисов и минимизировать стоимость инцидентов, так и инженерам, отвечающим за сопровождение продукта и уставшим от «пожаров» в проде.

Доклады

Как перестать тушить пожары в разработке: внедряем Observability в существующий продукт не за миллиард денег

Олег Казаков, CTO в Spectr

Тезисы доклада:

• Любой проект рано или поздно сталкивается с ситуацией, когда что-то идёт не так: сервис отвечает медленно, пользователи жалуются на ошибки, а в логах куча строк, из которых ничего не ясно. Без полноценной наблюдаемости это превращается в мучительное расследование «вслепую».
• Как всем известно, наблюдаемость держится на трёх столпах: метриках, логах и трейсах. В данном докладе я расскажу о том, как в короткие сроки внедрить базовый observability на примере Grafana стека: Grafana, Prometheus, Loki, Tempo.

Почему мы пропускаем инциденты, и как это исправить: алертная слепота как барьер для Observability

Кирилл Грищук, Avito, Backend Team Lead в Core Services

Тезисы доклада:

С ростом системы вопрос алертов становится неизбежным. И, вроде бы, все идет по плану: включают мониторинг, подключают уведомления, но через пару недель у разработчиков уже мини-инсульт от сотен сообщений в канале. В чем причина?

• Приходит много разных алертов даже тогда, когда система работает нормально.
• Когда ничего не работает — они тоже приходят, и их уже игнорируют по привычке.
• Алерты воспринимаются как доказательство, что «код работает» — раз хоть что-то пишет.

В итоге мы сталкиваемся с ситуацией, что алерты не выполняют свою функцию. Команда перестает на них реагировать, реальные проблемы пропускаются. Это и есть «алертная слепота».

В докладе мы разберем правила хорошего алертинга:

• Когда алерты сигнализируют о реальных проблемах;
• Любой разработчик может решить проблему — есть инструкция, что делать;
• В логах релевантная информация.

И рассмотрим четыре базовых шага:

• Настройка границ;
• Обобщение метрики;
• Работа с короткими пиками;
• Какую информацию включать в алерт.

В конце доклада вы получите инструкцию, как настроить работу с алертами, а также полезные ссылки.

Формат

Митап пройдет в онлайн-формате. Участие бесплатное, но необходима предварительная регистрация.

Регистрируйтесь, готовьте свои вопросы и подключайтесь!