Что такое активация в нейросети простыми словами — Урок 4

Активация — это маленькая деталь-изгиб между слоями нейросети: она ломает прямую линию, и поэтому сеть из сотни слоёв не схлопывается в одну матрицу. В этом уроке — на пальцах и на цифрах, почему нейросеть ≠ одна большая матрица. Сначала своими руками увидишь схлопывание: цепочка линейных слоёв, сколько бы их ни было, слипается в ОДИН множитель — одну прямую, которая умеет только наклон и не умеет гнуться. А мир — с изгибом (лучшее посередине: сила LoRA или CFG — тоже горка). Спасает активация — гейт между слоями. Простейший гейт ReLU: отрицательное глушит в ноль, положительное пропускает как есть; на графике появляется излом. Один гейт — один излом; несколько гейтов складываются в горку; достаточно гейтов — почти любая кривая. В конце — мост к практике: активация стоит в каждом блоке твоих Kling и NanoBanana; убери её — и все слои схлопнутся в один множитель, никакой картинки бы не вышло. Пример на цифрах из видео: цепочка ×2 потом ×3 без гейта — это просто ×6, все точки на прямой y = 6·x (вход −1 → −6, вход 2 → 12). Ставим гейт посередине (×2 → ReLU → ×3): вход −1 → −2 → гейт глушит в 0 → 0 (было −6!), вход 2 → 4 → проходит → 12. Слева плоско по нулю, справа наклон — излом в нуле. Одна прямая так не может. Мини-словарь: Линейное — преобразование, где прямые остаются прямыми и равномерными, а центр на месте (Урок 1); для одного слоя это прямая через ноль, y = k·x. Схлопывание слоёв — цепочка линейных слоёв равна ОДНОМУ линейному слою: ×2 и ×3 = один ×6; две матрицы подряд = одна матрица. (Не путать с потерей измерения из Урока 1 — здесь измерение цело, просто множители слились в один.) Активация / нелинейность — деталь, которая ломает прямоту (даёт изгиб), а центр держит на месте. Именно её нет у чистой матрицы. Гейт / ReLU — max(0, x): минус → 0, плюс → как есть (ReLU(3)=3, ReLU(−2)=0). Имя Rectified Linear Unit, «выпрямленный», как диод. Гейт не вес и не множитель: у него нет ручки, он режет по знаку. Излом — точка, где прямая меняет наклон (угол на графике). Один гейт добавляет один излом. Нейрон — взвешенная сумма (Урок 1/3) плюс изгиб (этот урок). Как из нейронов собирают глубокую сеть — в Модуле 2. 0:00 Вступление 0:25 Что такое «линейное» — якорь из Урока 1 0:42 Схлопывание: цепочка слоёв = один множитель 1:45 Прямая не гнётся, а мир — с изгибом (горка LoRA) 2:07 Активация и гейт ReLU: сигнал как волна 2:44 Гейт ломает прямую → излом (на цифрах) 3:15 Из гейтов собирается любая форма 4:11 Нейрон = взвешенная сумма + изгиб 4:27 Три честные оговорки (softmax, семья активаций) 4:53 Активации внутри Kling и NanoBanana 5:08 Итог Ссылки: ▶ Плейлист «Курс: ИИ с нуля»: https://www.youtube.com/playlist?list=PLEuf1JJvvBCE #нейросети #активация #ReLU #машинноеобучение #математикадляИИ