Когда пользователь — не человек: тестирование MCP-серверов

Когда пользователь — не человек: тестирование MCP-серверов

Все тесты зелёные, процент покрытия высокий — а агент отвечает пользователю примерно так: "У меня нет такого инструмента". Инструмент есть. Он покрыт тестами. Баг не находится ни в одной из строчек кода.

Так выглядит главный сюрприз MCP-серверов для QA: их основной пользователь — не человек и не другой сервис, а ИИ-агент. Модель не «подключается к API» — она читает. Всё, что она видит про ваш сервер, — это текст: имя тула, description и схема параметров. Значит, контракт теперь состоит не только из схемы, но и из текста, а правка одного слова в description — это изменение поведения системы в проде

В докладе разберём, как агент выбирает тул и где сценарий ломается: агент не выбрал ваш тул, вызвал его с неверными аргументами или не так понял ответ.