DeepSeek Engram: внедрение механизма встроенной памяти в архитектуры Transformer

https://youtu.be/3AUjoWnMsTU?list=TLGGCc9gdpT3SycyNzAxMjAyNg Компания DeepSeek представила технологию Engram, которая внедряет специализированные модули встроенной памяти непосредственно в архитектуру трансформеров. Вместо того чтобы заново вычислять повторяющиеся фразы и шаблоны, модель использует систему быстрого поиска, извлекая готовые числовые представления из оперативной памяти. Этот механизм дополняет принцип «смеси экспертов», заменяя избыточные вычисления эффективным условным доступом к данным. В результате нейросеть освобождает ресурсы для более сложных рассуждений, значительно снижая нагрузку на графический процессор. Практические тесты подтверждают, что такое решение делает работу искусственного интеллекта более быстрой и экономичной без потери точности.