Нормализация E08 (пакетная, слоистая, среднеквадратичная) | Серия Transformer (с Google Engineer)

Как обычный программист, я хочу поделиться несколькими ключевыми темами, чтобы лучше понять Transformer — архитектуру, изменившую мир и заложившую основу магистратуры права. Эпизод №1: Механизм внимания https://www.youtube.com/watch?v=3RB8WVu9t4Q Эпизод №2: Кодирование позиции https://www.youtube.com/watch?v=E1XMcN2lMME Эпизод №3: Ключи, значения, запросы: https://www.youtube.com/watch?v=7i1wlvYLrUo Эпизод №4: Многоголовочное внимание: https://www.youtube.com/watch?v=PwSMOwkcl1g Эпизод №5: Кэш KV и маскированное внимание: https://www.youtube.com/watch?v=VAtqCJoiOKI Эпизод №6: Различные типы внимания: https://www.youtube.com/watch?v=YAFojGSW6HM Эпизод №7: Сеть прямого распространения: https://www.youtube.com/watch?v=aizh6ipm03k #ai #google #llm #transformer #normalization #math #technology