Пакетная нормализация | Внутреннее ковариационное сдвигание | Глубокое обучение, часть 8

В этом видео мы поговорим о пакетной нормализации — почему она стала такой важной идеей в глубоком обучении и как простая нормализация активаций внутри сети может полностью изменить способ её обучения. Мы начнём с формирования интуитивного понимания — сначала разберёмся, почему ненормализованные данные замедляют и делают нестабильной оптимизацию, а затем шаг за шагом поймём, как нормализация активаций на каждом слое обеспечивает плавность процесса обучения. После этого мы рассмотрим, что на самом деле происходит внутри слоя BatchNorm — как вычисляются среднее и дисперсия пакета, почему член смещения становится избыточным, что делают гамма и бета-коэффициенты, и как используются скользящие средние во время тестирования. И наконец, мы немного поговорим о теории — об исходной идее внутреннего сдвига ковариат, почему более поздние исследования показали, что это не вся история, и что на самом деле делает BatchNorm таким эффективным: более плавные ландшафты функции потерь, стабильные градиенты, более высокие скорости обучения, масштабно-инвариантность и даже немного регуляризации. К концу этого видео у вас сложится чёткое представление о том, как работает BatchNorm изнутри — и почему он стал одной из самых влиятельных методик в современном глубоком обучении. Статья о пакетной нормализации: https://arxiv.org/abs/1502.03167 Как пакетная нормализация помогает оптимизации?: https://arxiv.org/abs/1805.11604 Главы: 0:00 Введение и нормализация 01:03 Внутренний сдвиг ковариат 02:17 Математика пакетной нормализации 05:00 Пакетная нормализация в нейронной сети 05:36 Пакетная нормализация во время тестирования 07:02 Новые исследования Ссылки на связанные видео: Нейронные сети: https://www.youtube.com/watch?v=sE6OaMndGZg Обратное распространение ошибки: https://www.youtube.com/watch?v=nAMkcgxKwfA Функции активации: https://www.youtube.com/watch?v=Kz7bAbhEoyQ Исчезающий/Взрывной эффект Градиенты: https://www.youtube.com/watch?v=CzNFuL_5uig Нормализация данных: https://www.youtube.com/watch?v=W2vqsTg-rDU 📚 Добро пожаловать на канал! Если вы увлечены изучением сложных концепций самым простым способом, вы попали по адресу. Я создаю визуальные объяснения с помощью анимации, чтобы сделать темы более интуитивно понятными и интересными — особенно в области алгоритмов, ИИ, машинного обучения и многого другого. 🎥 Анимации, созданные с помощью Manim: Manim — это библиотека Python с открытым исходным кодом для создания математических анимаций. Узнайте больше или попробуйте сами: 🔗 https://www.manim.community Давайте общаться: GitHub: https://github.com/ByteQuest0 Reddit: https://www.reddit.com/r/ByteQuest/