Как Prometheus помогает ускорять автотесты

С ростом проекта количество автотестов только растёт: новые сценарии добавляются, старые почти никогда не удаляются. Время регрессионного прогона увеличивается и рано или поздно становится узким местом всего процесса разработки.
В какой-то момент параллелизация и новые раннеры перестают помогать — нужна системная оптимизация. Но чтобы оптимизировать, надо сначала измерить.
Расскажу, как мы решили эту задачу на крупном проекте: собрали метрики выполнения автотестов в Prometheus.

В докладе разберём, как по метрикам:

- найти самые дорогие по времени тесты, отдельные шаги и подготовку данных;
- обнаружить избыточные и дублирующие проверки;
- сократить время регрессии без потери покрытия.