Роутер в llama.cpp (сравнение с llama-swap)

Плейлист по нейронкам: - https://rutube.ru/plst/1813816 Ресурсы: - Документация по пресетам: https://github.com/ggml-org/llama.cpp/blob/master/docs/preset.md Эпизоды: - 00:00 Введение - 00:55 Документация по роутеру - 01:55 Структура демо папки - 02:30 Макросы и глобальная секция в конфигах - 04:20 Разница между sleep-idle-seconds и globalTTL - 06:00 Различия в хранении и сборе метрик - 06:50 Эквивалентные параметры для моделей - 07:40 reasoning budget для выключения размышлений - 08:10 Сокращённые формы параметров - 08:40 Тонкость с использованием булевых в INI - 09:30 Параметры квантизации KV-кэша - 10:30 Полный контекст и размышления у Olmo - 11:30 Не надо указывать version в INI! - 12:20 Запуск роутера в llama.cpp - 13:50 Переключение моделей в Web UI - 16:30 Информация в /v1/models - 17:30 Чего нет в llama.cpp, но есть в llama-swap - 18:50 Спасибо за внимание!