Ближайшая конференция: IML 2025, 16—17 мая, Санкт-Петербург + online. Подробности и билеты: https://jrg.su/1drGPM — — Скачать презентацию с сайта IML — https://jrg.su/mcDzMV Как обеспечить качество ML-моделей на всех этапах жизненного цикла — от обучения до внедрения в прод? Рассмотрели на примере архитектуры поискового сервиса Яндекс Лавки. Спикер описал работу поисковых моделей-кандидатогенераторов, таких как BERT и DSSM, и показал, как ранжирующие алгоритмы помогают найти релевантные товары. Из доклада вы узнаете, как проходит обучение, верификация и внедрение этих моделей, а также как тестируются их результаты до продакшен-запуска. Важной темой станет офлайн-оценка моделей с помощью ручной разметки и проведение A/B-тестов для выбора лучших моделей на основе продуктовых метрик. Кроме того, Николай разобрал способы мониторинга качества работы модели в реальном времени, чтобы избегать сбоев — таких, какие были у нас. В финальной части доклада он поговорил о непрерывном контроле метрик и вовлечении асессоров для оценки результатов качества моделей.