Глубокие ансамбли: перспектива утраченного ландшафта (с пояснениями к статье)

#ИИ #исследования #оптимизация Глубокие ансамбли неожиданно хорошо подходят для улучшения обобщающих возможностей глубоких нейронных сетей. Удивительно, но они превосходят байесовские сети, которые — теоретически — делают то же самое. В данной статье исследуется, как глубокие ансамбли особенно подходят для описания невыпуклого ландшафта потерь нейронных сетей. ПЛАН: 0:00 - Введение и обзор 2:05 - Глубокие ансамбли 4:15 - Пространство решений глубоких сетей 7:30 - Байесовские модели 9:00 - Эффект ансамбля 10:25 - Настройка эксперимента 11:30 - Равенство решений при обучении 19:40 - Отслеживание нескольких траекторий 21:20 - Сходство независимых решений 24:10 - Сравнение с базовыми значениями 30:10 - Сечения весового пространства 35:55 - Разнообразие и точность 41:00 - Сравнение методов ансамблирования 44:55 - Заключение и комментарии Документ: https://arxiv.org/abs/1912.02757 Аннотация: Эмпирически показано, что глубокие ансамбли являются перспективным подходом для повышения точности, неопределенности и устойчивости моделей глубокого обучения вне распределения. Хотя теоретически глубокие ансамбли были мотивированы бутстрапом, ансамбли без бутстрапа, обученные только случайной инициализацией, также хорошо работают на практике, что предполагает наличие других объяснений эффективности глубоких ансамблей. Байесовские нейронные сети, обучающиеся распределениям параметров сети, теоретически хорошо мотивированы байесовскими принципами, но на практике работают не так хорошо, как глубокие ансамбли, особенно при сдвиге набора данных. Одно из возможных объяснений этого разрыва между теорией и практикой заключается в том, что популярные масштабируемые вариационные байесовские методы, как правило, фокусируются на одной моде, тогда как глубокие ансамбли, как правило, исследуют различные моды в функциональном пространстве. Мы исследуем эту гипотезу, опираясь на недавние исследования по пониманию ландшафта потерь нейронных сетей и добавляя собственные исследования для измерения сходства функций в пространстве прогнозов. Наши результаты показывают, что случайные инициализации исследуют совершенно разные моды, в то время как функции, расположенные вдоль траектории оптимизации или выбранные из её подпространства, кластеризуются внутри одной моды с точки зрения прогнозов, часто значительно отклоняясь в пространстве весов. Развивая концепцию плоскости «разнообразие-точность», мы показываем, что декорреляционная способность случайных инициализаций не имеет себе равных среди популярных методов выборки подпространств. Наконец, мы оцениваем относительные эффекты ансамблирования, методов, основанных на подпространствах, и ансамблей методов, основанных на подпространствах, и экспериментальные результаты подтверждают нашу гипотезу. Авторы: Станислав Форт, Хуэйи Ху, Баладжи Лакшминараян Ссылки: YouTube: https://www.youtube.com/c/yannickilcher Discord: https://discord.gg/4H8xxDF BitChute: https://www.bitchute.com/channel/yannic-kilcher Minds: https://www.minds.com/ykilcher