Quality Assurance и автоматизированное тестирование Loginom

Как устроено автоматизированное тестирование Loginom и чем оно помогает развитию аналитической платформы. 00:00 — Начало доклада. 00:47 — Проблема обеспечения качества. 01:21 — Потребность в автотестах. 02:23 — Почему ошибки в Loginom исправляются не сразу. 03:12 — Виды тестирования. 04:45 — Критерии выбора инструментов для тестов. 07:53 — Фреймворк TestCafe. 08:06 — Подготовительные работы. 09:00 — Пример проблемы. 11:31 — Пример выполнения автотеста в Loginom. 12:26 — Виды тестов. 12:56 — Описание процесса теста багов. 14:39 — Итоги внедрения автотестов. 16:07 — Вопросы и комментарии к докладу. Вводные данные аналитической low-code платформы Loginom с точки зрения обеспечения качества: 1. Миллионы строк кода. 2. Множество языков программирования. 3. Десятки дополнительных библиотек. 4. Богатый и гибкий пользовательский интерфейс. Все вышеупомянутое создает потребность в автотестах. Из-за большого количества функций кода становится сложнее тестировать вручную. Увеличение числа пользователей формируют высокую цену ошибки. Использование Loginom в бизнес-критичных задачах (например, системы принятия решений, кредитный конвейер) выдвигает жесткие требования к срокам исправления ошибок. Времени на отладку работы платформы закладывается все меньше. Почему ошибки в Loginom исправляются не сразу? Существует несколько причин: 1. Быстрые изменения продукта в начале. 2. Нестабильный список функционала. 3. Отсутствие резкого роста сложности продукта. 4. Некритичные затраты на тестирование. Рассмотрим различные виды тестирования: 1. Unit (модульное) — какая-либо обособленная часть платформы Loginom тестируется изолированно. 2. Integration (интеграционное) — различные модули соединяются и проверяется валидность их совместной работы. 3. End-to-end/Functional (конечное, функциональное) — платформа собирается в пользовательском виде, и производится тестирование. 4. Ручное тестирование — тестировщики прогоняют вручную известные тест-кейсы, проверяет функционал, который сложно протестировать автоматически. 5. Canary-тестирование — новый функционал передается пользователям для предварительного тестирования и получения обратной связи. Изначально было определено 10 наиболее важных критериев выбора инструментов для тестов: простота использования; кросс-браузерность; поддержка языков JavaScript/TypeScript для написания тестов; многопоточность; работа браузера без графической оболочки; перезапуск и умное ожидание элементов; drag&drop по координатам; теги; скорость; интерактивная отладка. В итоге, среди 6-и рассматриваемых инструментов был выбран кросс-платформенный фреймворк TestCafe. При внедрении автотестов было внесено множество изменений в код платформы и бизнес-процесс разработки с целью: 1. Минимизации доработок, требуемых для тестов. 2. Стабильности прохождения тестов. 3. Простоте локализации ошибок. В Loginom Сompany существует 2 вида тестирования: 1. Приемочные тесты по требованиям к функционалу. 2. Тесты для воспроизведения известных багов. Рассмотрим более подробно бизнес-процесс теста багов, обнаруженных клиентами. Он состоит из следующих этапов: 1. Пользователь сообщает о баге в техподдержку. 2. Заводится задача в системе баг-трекинга. 3. Тестировщик создает скрипт теста. 4. Скрипт передается на проверку другому сотруднику. 5. Проверяющий указывает на ошибки и недоработки. 6. Тест проверяется финально ведущим тестировщиком. 7. Тест вливается в мастер-ветку репозитория тестов, которая включена в разработку Loginom. 8. Написанный тест добавляется в Continuous Integration разработки. 9. После каждого изменения созданный тест прогоняется, чтобы убедиться, что ошибка больше не возникает. Время выполнения всех тестов Loginom — порядка 16 часов. В качестве итогов от внедрения автотестов можно выделить следующие: 1. Управляемость процесса улучшения качества. 2. Стабильное снижение количества ошибок. 3. Исключение регрессионных ошибок. 4. Новые фичи без ухудшения качества. 5. Ускорение развития платформы. Все возможности аналитической платформы: https://loginom.ru/platform Скачать бесплатную редакцию Loginom: https://loginom.ru/download Отраслевые решения для бизнеса: https://marketplace.loginom.ru/solutions Электронные курсы по Data Science: https://loginom.ru/skills Остались вопросы? Пишите: https://loginom.ru/company/feedback #loginom #lowcode #datascience #анализданных #аналитикаданных #аналитическаяплатформа #автотесты #автоматизированноетестирование #тестированиепо #модульноетестирование #интеграционноетестирование #функциональноетестирование #конечноетестирование #ручноетестирование #testing #testcafe #unittesting #integrationtesting #endtoendtesting #functionaltesting #canarytesting