Физика языковых моделей: Часть 4.1a, Как создать универсальную синтетическую среду для предобучения

Я запускаю второй урок по физике языковых моделей. Многие фокусируются на результатах крупномасштабных исследований. Этот урок посвящен тому, почему эти результаты часто являются артефактами шума — и как устранить этот шум на этапе проектирования. Первое видео (Часть 4.1a, 1 час) — самое важное. Оно фокусируется на методологии, а не на бенчмарках: – как можно «обмануть» реальное предварительное обучение, – почему эксперименты академического масштаба содержат шум, – и, что наиболее важно, как разработать универсальную, ориентированную исключительно на навыки, синтетическую площадку для предварительного обучения. Я объясняю, почему наши пять синтетических задач разработаны именно так, и как модели GPT2 малого масштаба (100 миллионов) могут выявить архитектурные истины, которые модели 8 миллиардов, обученные на 1 триллионе токенов, часто не могут надежно обнаружить. Эта методология является основой всей серии уроков по физике. ▶️ Первое видео: Часть 4.1a — методология и дизайн игровой площадки 🔜 Второе видео: Часть 4.1b — архитектурные принципы игровой площадки https://www.youtube.com/watch?v=8tUIaSOTA7g 🔜 Третье видео: Часть 4.2 — когда игровая площадка меняет реальную предварительную подготовку https://www.youtube.com/watch?v=niHNWJxmkW0 Таймкоды: 00:00 - Вступление 01:47 - Магия одной строки в реальной предварительной подготовке 10:22 - Почему предварительная подготовка в академических масштабах создает шум 19:44 - Наша синтетическая игровая площадка для преодоления шума 29:20 - Принципы проектирования задач для синтетической предварительной подготовки 35:33 - Задача Depo: Глубина рассуждений 39:52 - Задача Brevo: Широта рассуждений 44:29 - Задача Capo: Знания Пропускная способность 47:18 - Задача Мано: Манипулирование знаниями 53:07 - Задача Лано: Структурное языковое рассуждение 58:59 - Первое архитектурное сравнение: выводы из экспериментальной площадки Этот доклад охватывает первую половину нашей статьи «Физика языковых моделей: Часть 4.1, Архитектурный дизайн и магия слоев Canon», опубликованной на NeurIPS 2025 и доступной по адресу https://physics.allen-zhu.com/part-4-architecture-design/part-4-1.