Когда мониторинг не видит то, что важно

5 ноября 2026 · Дмитрий Сарский

У клиента было «всё под контролем»: десятки дашбордов, сотни серий, алерты почти на каждую метрику. В обычный день это выглядело солидно. В инцидент — бесполезно.

Когда упала часть пользовательских запросов, сначала загорелось всё подряд. CPU, диск, latency, queue depth, даже вещи, которые к аварии не относились. Пока команда разбирала шум, время восстановления уже уходило.

Проблема была не в отсутствии данных. Данных было слишком много, а сигнала — мало. Мониторинг показывал активность системы, но не отвечал на простой вопрос: «что именно сломалось для пользователя?».

Я сократил алерты до actionable. Оставил то, на что есть понятный следующий шаг: ошибка API выше порога, latency по ключевому сценарию, недоступность зависимости, переполнение диска, падение воркеров.

Параллельно добавили простые SLO: доступность главного API и успешность критичного пользовательского пути. Не идеальная теория, а рабочий ориентир. Если SLO красный — это приоритет. Если зелёный, а где-то мигает второстепенная метрика — можно не паниковать.

Через пару недель шум упал. Инциденты не исчезли, но команда стала быстрее понимать, куда смотреть первым.

Что сделал бы в похожей ситуации

1. Выписать 3–5 пользовательских сценариев и мерить именно их.
2. Удалить алерты без действия «что делать дальше».
3. Завести один экран «сейчас больно / ещё терпимо».

← Все заметки