Kimi K3: в чем секрет такой мощности? Глубокий разбор архитектуры: Delta Attention и Attention Re...

Kimi K3 — первая открытая модель в классе с 3 триллионами параметров, и интересна не столько величина параметров, сколько четыре архитектурных изменения, которые делают модель такого размера обучаемой и достаточно дешевой для использования. Это подробный анализ архитектуры: механизм внимания Kimi Delta Attention, механизм внимания с остаточными значениями (Attention Residuals), стабильная модель LatentMoE с балансировкой квантилей и обучение с учетом квантования MXFP4. Мы выводим каждый механизм, а не просто называем его, и приводим работающий код для каждого из них. Что вы узнаете: • Почему скалярный вентиль забывания ограничивает качество длинного контекста — и что делает вместо него вентиль KDA для каждого канала • Как разбавление PreNorm устанавливает жесткий потолок глубины, и как AttnRes заменяет остаточный поток вниманием softmax над предыдущими слоями • Почему разреженность 16 из 896 дестабилизирует маршрутизацию, и как квантильная балансировка исправляет это, удаляя гиперпараметр вместо добавления • Почему Per-Head Muon, SiTU и Gated MLA — это одно и то же проектное решение • Как KDA сломал кэширование префиксов, и почему это исправление является причиной того, что кэшированный ввод стоит 0,30 доллара за миллион токенов • Доказательства: K3 оптимизирует свои собственные ядра, пишет MiniTriton и разрабатывает чип для своих собственных числовых данных INT4 Источники: Анонс Kimi K3 — https://www.kimi.com/blog/kimi-k3 Остаточное внимание (команда Kimi) — https://arxiv.org/abs/2603.15031 Kimi Linear — https://arxiv.org/abs/2510.26692 Muon — Келлер Джордан, октябрь 2024 г. Рисунки, отмеченные как «Источник: kimi.com/blog/kimi-k3», относятся к Moonshot AI и используются для комментариев и обучения. Полный технический отчет K3 не был опубликован на момент его создания; утверждения, взятые только из сообщения в блоге, указаны с указанием источника. #KimiK3 #MoonshotAI #LLM #MachineLearning #Transformers #MixtureOfExperts