⚡️ LoRA почти так же хороша, как полный fine-tuning, но в разы дешевле

🔥 Наш Telegram канал о машинном обучении: https://t.me/ai_machinelearning_big_data 📌 Папка лучших ИИ каналов - https://t.me/addlist/8vDUwYRGujRmZjFi Thinking Machines выпустили новое исследование, которое смотрит на LoRA под другим углом. Главная идея исследования: LoRA может обучаться почти как полный fine-tuning, но при этом быть проще, дешевле и предсказуемее. Они доказали это экспериментально: взяли одинаковую модель, прогнали обучение двумя способами: полным fine-tuning и LoRA - и сравнили кривые потерь (loss vs steps). Процесс: - Дали чёткий рецепт, а не случайные гипотезы. - Показали, что процесс можно повторять с одинаковым результатом. - Выяснили, что если адаптеру не хватает памяти, модель не ломается, а просто замедляется. Результат показал, что при правильных настройках LoRA движется по той же траектории, что и FullFT. То есть качество модели и динамика обучения совпадают, пока у адаптера хватает параметров. Когда лимит достигается, у LoRA кривая не «обрывается», а просто идёт дальше медленнее. Именно за счёт этого LoRA демонстрирует предсказуемое и воспроизводимое поведение, а не случайные провалы, которые часто происходят при подборе гиперпараметров «на глаз». ✔️ Правила от команды Thinking Machines 1. Ставить LoRA на все слои, а не только на attention. 2. Использовать ~10× больший learning rate, чем обычно. 3. Не раздувать batch size - иначе падает стабильность. ✔️ Что в итоге: - Кривые обучения LoRA почти совпадают с full fine-tuning. - Даже в упоре в лимит адаптера модель ведёт себя плавно. - Вычислений требуется на треть меньше, чем у FullFT. LoRA может стать инструментом для надёжного и дешёвого пост-трейнинга. Для Thinking Machines это шаг к миссии: они уверены, что непредсказуемость моделей - это не фича, а баг, который можно исправить. Если убрать случайность и сделать выходы стабильными - ИИ станет безопасным даже для критически важных процессов. 📌 Подробнее: https://t.me/ai_machinelearning_big_data/8649 Python #Программирование #Разработка #Python3 #Backend #Frontend #DataScience #MachineLearning #ArtificialIntelligence #DeepLearning #WebDevelopment #Django #Flask #FastAPI #API #REST #Scripting #Automation #DevOps #DataAnalysis #Pandas #NumPy #Matplotlib #Seaborn #Jupyter #BigData #CloudComputing #AWS #Azure #GoogleCloud #Testing #PyTest #UnitTest #CI_CD #Databases #SQL #NoSQL #MongoDB #PostgreSQL #SQLite #OpenSource