Supervised Reinforcement Learning (SRL): Новая эра пошагового рассуждения для LLM

В этом видео мы представляем Supervised Reinforcement Learning (SRL) — инновационный фреймворк, разработанный для обучения больших языковых моделей (LLM) сложным навыкам рассуждения, особенно на задачах, где традиционные методы, такие как SFT и RLVR, оказываются неэффективными. SRL — это надежный и универсальный фреймворк . Проблема: Крупные языковые модели часто сталкиваются с трудностями при решении задач, требующих многошагового рассуждения . 1. Supervised Fine-Tuning (SFT): Стандартный SFT, основанный на имитации, часто приводит к переобучению на длинных и сложных экспертных демонстрациях, ограничивая способность модели к обобщению . Фактически, прямое применение SFT на сложных наборах данных (например, s1k) может привести к ухудшению производительности по сравнению с базовой моделью . 2. Reinforcement Learning с проверяемыми наградами (RLVR): Этот подход (например, с использованием GRPO) полагается исключительно на правильность конечного ответа . Он терпит неудачу на чрезвычайно сложных задачах (Dhard), где показатель успеха модели близок к нулю, поскольку положительные сигналы вознаграждения становятся слишком разреженными (sparse) . Решение — SRL: SRL устраняет этот критический пробел, переформулируя решение проблемы как последовательный процесс принятия решений . • Пошаговое обучение: Вместо оптимизации конечного ответа или имитации всей экспертной траектории целиком, SRL обучает модель воспроизводить последовательность ключевых логических "действий" (actions) . • Внутренний монолог: В процессе обучения модель сначала генерирует внутренний монолог для артикуляции своего рассуждения , а затем принимает конкретное "действие". Внутренний монолог инкапсулируется специальными тегами, а модель сначала составляет свой мыслительный процесс, а затем совершает действие, (например, внутренний монолог обозначается тегами "think") . • Плотная и гладкая награда: SRL предоставляет пошаговые и более гладкие награды , основанные на сходстве последовательностей (sequence similarity reward) между сгенерированным действием модели и соответствующим экспертным действием. Награда R рассчитывается по формуле, основанной на количестве совпавших элементов M и общем количестве элементов T в сравниваемых последовательностях, как R=2M/T . • Гибкость рассуждения: Награда вычисляется только на логическом действии, а не на внутреннем монологе . Это позволяет модели развивать свой собственный внутренний стиль рассуждения, сохраняя при этом согласованность внешних действий со стратегией эксперта . Ключевые Результаты: SRL продемонстрировал значительное повышение производительности . 1. Математическое рассуждение: На сложных бенчмарках (AMC23, AIME24, AIME25, Minerva Math) SRL существенно превосходит базовые линии, включая SFT и RLVR . Например, SRL показал прирост в среднем на 3,0% по сравнению с RLVR . 2. Синергия с RLVR: Наилучшая общая производительность достигается при использовании пайплайна SRL → RLVR (инициализация обучения с SRL, а затем уточнение с RLVR) . 3. Агентские задачи (Software Engineering): SRL также эффективен в задачах по разработке программного обеспечения , достигая в два раза большей производительности, чем SFT-модели (SWE-Gym-7B) на SWE-Bench-Verified в сквозной оценке (End-to-end evaluation) . 4. Сложные паттерны рассуждения: Модели, обученные с помощью SRL, демонстрируют более гибкие и сложные паттерны рассуждения , такие как чередующееся планирование и верификация (interleaved planning and verification), без простого увеличения длины генерируемого ответа