Тихомиров М.М. - Обучение больших языковых моделей - 11. Альтернативы классическому трансформеру

Альтернативы классическому трансформеру (вниманию), SSM, Mamba, DeltaNet Тихомиров Михаил Михайлович 00:16 Проблема классического внимания 06:07 Linformer 08:45 Longformer 11:43 DeepSeek: MLA (Multi-head Latent Attention) 12:56 Linear Attention (Линейное внимание) 17:24 RNN 19:51 Истоки State Space Models (SSM) 31:48 Селективная SSM (Mamba-1) 41:28 State Space Duality (SSD) 45:32 Mamba-2 51:19 Delta Net - развитие линейного внимания 56:34 Qwen 3.5 — гибридная модель 01:00:44 Выводы Ссылка на плейлист Teach-In: https://teach-in.ru/course/fundamentals-of-training-llm-tihomirov Ссылка на плейлист YouTube: https://www.youtube.com/playlist?list=PLcsjsqLLSfNAz_J4tGrLSI--CzdYyhnj3 Ссылка на плейлист VK: https://vkvideo.ru/playlist/-176441665_866 Ссылка на плейлист RuTube: https://rutube.ru/plst/1513656 #teach_in #МГУ #MSU #Artificial_intelligence #искусственный_интеллект #ИИ #AI #лекция #lecture #Тихомиров #Tikhomirov #LLM #языковое_моделирование #language_modeling #эволюция_llm #linformer #longformer #deepseek #mla #multi_head_latent_attention #linear_attention #линейное_внимание #rnn #state_space_models #ssm #селективная_ssm #mamba_1 #state_space_duality #ssd #mamba_2 #delta_net #развитие_линейного_внимания #qwen_3_5 #гибридная_модель #проблема_классического_внимания #machine_learning #attention_mechanisms #neural_networks #ai_models #language_models