От ручного тест-кейса к AI-driven UI-автоматизации: blackbox-подход на базе LLM и vision-моделей

Коротков Алексей / UWDC 2026 00:00 – Введение и представление спикера 01:15 – Краткий экскурс в эволюцию автоматизации тестирования 02:42 – Будущее автоматизации тестирования: AI и визуальный анализ 05:16 – Пример тест-кейса для заметок 06:20 – Архитектура инструмента для автоматизации тестирования 11:31 – Исследование визуальных моделей и нормализация скриншотов 12:57 – Демонстрация работы нейросети в реальном времени 14:55 – Ограничения и применимость автоматизации 15:55 – Основные проблемы и стоимость прогона 17:10 – Выводы и изменения в роли тестировщика 18:55 – Вопросы и ответы о координатах и клавиатуре 22:32 – Почему нужно указывать координаты и поддержка инфраструктуры 24:15 – Повторные попытки и баги при выполнении тестов 25:00 – Оценка автоматизации и роль нейросетей 26:05 – Обогащение тестовых кейсов и контекст системы 27:50 – Проблемы с глюками нейросети и доверие к результатам 29:19 – Опыт и сложные действия в автоматизации 31:48 – Философский вопрос о человеческом и техническом факторах 33:46 – Работа с динамическими интерфейсами и ограничения 35:04 – Мощности и ресурсы для запуска программы 36:10 – Контекст и понимание скрытых элементов 37:20 – Объединение подходов и кеширование координат 38:55 – Сценарии тестирования и возможности нейросети 40:30 – PCI Express платы для мобильных ферм UI-автоматизация сильно продвинулась: локаторы, удобные обёртки, self-healing, AI-assisted инструменты. Но между ручным тест-кейсом и исполняемым автотестом всё ещё остаётся инженерный слой: сценарий нужно перевести в код, описать действия, проверки, локаторы и подготовку данных. В докладе я расскажу о нашем исследовании: можно ли сократить этот разрыв и дать AI-системе возможность исполнять ручные UI-тесты в blackbox-режиме — без локаторов, без доступа к внутренней структуре интерфейса и без заранее подготовленного whitebox-описания. Мы рассмотрим архитектуру такого подхода: обогащение сценария, планировщик действий, слой выполнения на устройстве, работу с визуальным контекстом и отдельную проверку результата после каждого шага. На сквозном примере приложения заметок покажем, как система превращает человеческий сценарий в последовательность исполнимых действий и проверок. Отдельно разберём практические ограничения: точность vision-моделей, нормализацию скриншотов, зацикливания агентов, стоимость одного AI-прогона, скорость ответа моделей и пригодность реальных ручных тест-кейсов к такой автоматизации. Также покажем результаты оценки тестового фонда с помощью crawler-а, который анализировал тысячи тест-кейсов и классифицировал их по применимости для AI-автоматизации.