QA Engineer (AI Agents)

Мы — Aspirity Solution, студия разработки. Сейчас мы ищем QA Engineer, который будет отвечать за качество, устойчивость и предсказуемость поведения AI-агентов и LLM-систем.

Чем предстоит заниматься:
• Тестировать и оценивать работу AI-агентов (диалоговые и когнитивные системы).
• Разрабатывать и проводить eval-тесты для проверки корректности, устойчивости и стабильности поведения агентов.
• Анализировать поведение агентов при нестандартных входных данных, выявлять логические ошибки и проблемы в промптах.
• Плотно взаимодействовать с разработчиками и prompt-инженерами для улучшения моделей и тестовых пайплайнов.
• Поддерживать и развивать автоматизацию тестирования и QA-процессы внутри AI-команды.

Требования:
• Опыт работы в QA (manual или automation) от 2 лет.
• Практический опыт тестирования AI-агентов или чат-ботов.
• Понимание принципов работы AI-агентов, LLM-систем и prompt-инженерии.
• Опыт работы с eval-инструментами (OpenAI Evals, DeepEval).
• Уверенное владение Python на уровне написания тестов и утилитарных скриптов.
• Разговорный английский язык от B2.