Attention Is All You Need (RU) / Внимание — это всё, что вам нужно

В этом видео мы рассказываем о трансформере — инновационной архитектуре нейронной сети, специально разработанной для задач преобразования последовательностей (sequence transduction), например для машинного перевода. В отличие от традиционных подходов, эта модель полностью отказывается от рекуррентных (RNN) и свёрточных сетей и опирается исключительно на механизмы внимания. Такая опора исключительно на механизм самовнимания (self-attention) позволяет значительно повысить степень параллелизма при обучении и снижает сложность моделирования дальних зависимостей внутри последовательности. Базовая архитектура состоит из стека слоёв кодировщика (encoder) и декодировщика (decoder), которые используют слои многоголового внимания (multi-head attention) и позиционно-зависимые полносвязные сети (position-wise feed-forward networks). Экспериментальные результаты показывают, что трансформер достигает передового (state-of-the-art) качества машинного перевода, при этом требует существенно меньше времени обучения и вычислительных ресурсов по сравнению с предыдущими конкурирующими моделями. Трансформер — это архитектура нейронной сети для преобразования последовательностей и задач глубокого обучения, которая полностью опирается на механизмы самовнимания, назначает разные веса каждому элементу входной последовательности и полностью отказывается от рекуррентных связей и свёрток. 00:00 — Фундаментальная идея, стоящая за современными технологиями ИИ (ChatGPT, Midjourney). 00:17 — Вопрос понимания: Как нейросети понимают смысл целого абзаца, а не отдельных слов. 00:33 — Ключевая статья: "Attention Is All You Need" (2017) — работа, изменившая правила игры. 00:52 — Новая архитектура: Представление "Трансформера", основанного исключительно на механизмах внимания. 01:08 — Мир до Трансформера: Проблемы последовательной обработки языка рекуррентными нейросетями (RNN). 01:41 — Чтение "через замочную скважину": Аналогия того, как RNN теряли контекст в длинных предложениях. 02:04 — Два главных недостатка RNN: Медленная скорость обработки и "короткая память". 02:56 — Механизм внимания до 2017 года: Использование внимания как "заплатки" для RNN, а не основы. 03:33 — Радикальный вопрос: Что если полностью отказаться от рекуррентности и построить модель только на внимании? 04:07 — Self-Attention (Внимание к себе): Как модель видит все слова сразу и определяет связи между ними (пример с актерами на сцене). 04:33 — Multi-Head Attention (Многоголовое внимание): Как "команда экспертов" анализирует текст с разных сторон одновременно. 05:00 — Проблема порядка слов: Как модель понимает структуру предложения без последовательного чтения. 05:15 — Позиционное кодирование: Элегантное решение с "GPS-координатами" для каждого слова. 05:42 — Новая эра ИИ: Практические результаты внедрения архитектуры Трансформер. 06:08 — Рекордные показатели: Скачок качества машинного перевода (метрика BLEU) и превосходство над конкурентами. 06:49 — Невероятная эффективность: Достижение топовых результатов за 12 часов обучения на 8 видеокартах. 07:06 — Параллельная архитектура сняла ограничения масштабируемости, открыв путь к большим языковым моделям (LLM). Original article: Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). “Attention Is All You Need”. In Advances in Neural Information Processing Systems 30 (NeurIPS 2017), pp. 5998–6008. Preprint available at: https://arxiv.org/abs/1706.03762 DOI: 10.48550/arXiv.1706.03762 Systems Analysis Wiki: https://systems-analysis.ru/eng/ Threads: https://threads.com/@systems.analysis.en Medium: https://medium.com/@systems-analysis Substack: https://substack.com/@systemen Catalog: https://systems-analysis.ru/systems_anslysis_video.html #Transformer #AttentionIsAllYouNeed #ГлубокоеОбучение #ИскусственныйИнтеллект #NLP #ОбработкаЕстественногоЯзыка #SelfAttention #MultiHeadAttention #МашинныйПеревод #Seq2Seq #ЯзыковыеМодели #НейронныеСети #ИсследованияИИ #АрхитектураТрансформера