Подкаст - LangFlow: Непрерывная диффузия конкурирует с дискретной в языковом моделировании

Отказ от ответственности: это видео создано с помощью Google NotebookLM. https://arxiv.org/pdf/2604.11748 LangFlow: Непрерывная диффузия конкурирует с дискретной в языковом моделировании Исследователи представляют LangFlow, новую структуру, которая устанавливает непрерывную диффузию в качестве конкурентоспособной альтернативы дискретным моделям в области языкового моделирования. Интегрируя диффузию в пространстве вложений с сопоставлением потоков посредством дивергенции Брегмана, авторы предоставляют строгую теоретическую основу, которая включает новую метрику оценки на основе ОДУ для вычисления перплексии. Для оптимизации производительности в исследовании предлагается информационно-равномерный график шума на основе распределения Гумбеля, который гарантирует концентрацию усилий обучения там, где получено наибольшее количество информации из данных. Кроме того, в статье показано, что самообучение значительно повышает как качество выборки, так и вероятность для непрерывных моделей, в отличие от компромиссов, наблюдаемых в дискретных версиях. Эмпирически LangFlow соответствует или превосходит современные базовые модели дискретной диффузии и авторегрессии на основных тестовых наборах данных, таких как LM1B и OpenWebText. В конечном итоге, эта работа доказывает, что непрерывная диффузия является мощной и жизнеспособной парадигмой для генерации высококачественного человеческого языка. #ai #research