Тестирование AI-продуктов: наши новые подходы для QA и SDET

В докладе я покажу практические подходы к тестированию AI-driven функциональности в условиях недетерминированности: как проектировать тесты для вариативного поведения, что оставлять на ручную проверку, а что автоматизировать, и как валидировать результат, когда «ожидаемый ответ» не фиксирован. 

Разберём работу с тестовыми данными, формирование критериев качества и разницу автотестов, eval и бенчмарков. Также обсудим, как и когда работать с бенчмарками самим. 

Доклад основан на реальном опыте и будет полезен QA и SDET, работающим с AI-функциональностью.