Как LLM ускоряются, не меняя своих ответов | Спекулятивное декодирование

Спекулятивное декодирование — это хитрый приём для ускорения вывода LLM. Он использует быструю модель черновика для угадывания наперёд, в то время как большая модель проверяет множество токенов параллельно, сохраняя то же распределение выходных данных. В этом видео мы объясняем основной приём спекулятивного декодирования, почему выборка с отбрасыванием сохраняет ответы неизменными и как новые методы, такие как деревья черновиков, Medusa, MTP, EAGLE, DFlash и DFlash 2, ещё больше ускоряют вывод LLM. Разделы: 0:00 Авторегрессивное декодирование 0:51 Спекулятивное декодирование: Черновик и проверка 2:08 Отклонение выборки 7:08 Черновик деревьев 9:43 Медуза 12:44 MTP: Многотокеновое предсказание 14:41 EAGLE: Черновик на уровне признаков 16:25 EAGLE-2: Динамические черновика деревьев 17:19 EAGLE-3: Предсказание токенов + слияние слоев 17:47 DFlash: Параллельный черновик 19:43 DFlash 2: Селектор пути и локальное смешивание 24:06 Итоги Видео предоставлено: DFlash 2 https://inco.ai/blog/dflash2/ Анимация создана с помощью Manim: https://www.manim.community/