Добавили серверы, а LLM медленнее? Причина может быть в prefix cache

Добавили серверы с той же LLM, а часть запросов стала ждать дольше. Одна из возможных причин — префиксный кэш остался на старом экземпляре, а балансировщик отправляет запросы на новые. На примере помощника по большому регламенту разбираем, как prefix cache повторно использует вычисления общего начала запроса и почему одинаковый смысл не заменяет совпадение токенов. В рассматриваемой схеме у каждого сервера свой локальный кэш, общего хранилища нет. Показываю, зачем маршрутизации учитывать и кэш, и очередь. Обсуждаем прогрев новых экземпляров, перенос кэша и три группы метрик: повторно использованные токены, ожидание в очереди и время до первого фрагмента ответа. Больше серверов не означает неизбежное замедление: эффект зависит от нагрузки и устройства системы. 00:00 Серверов больше — почему часть запросов ждёт дольше? 00:21 Что хранит префиксный кэш 00:44 Почему важно одинаковое начало в токенах 01:06 Балансировщик и три локальных кэша 01:29 Прогрев, вытеснение и новые экземпляры 01:52 Маршрутизация с учётом кэша и нагрузки 02:15 Прогрев, перенос кэша и полезные метрики 02:37 Что подписать на архитектурной схеме Это третий выпуск серии «LLM в продакшене: неочевидные проблемы и решения». Первый выпуск — «Почему LLM замирает? Длинные запросы и Chunked Prefill»: https://www.youtube.com/watch?v=gHrF6Kj4KGc Подписывайтесь на АйтиЭкспресс — короткие разборы архитектуры и инженерных решений. Автор — Ксения Погорельских. Источники для тех, кто хочет разобраться глубже: vLLM — Automatic Prefix Caching: https://docs.vllm.ai/en/latest/design/prefix_caching/ SGLang — Model Gateway: маршрутизация с учётом кэша и нагрузки: https://docs.sglang.io/docs/advanced_features/sgl_model_gateway Locality-aware Fair Scheduling in LLM Serving: https://arxiv.org/abs/2501.14312 Голос и видео ведущей — оригинальная запись. Изображение рисующей руки создано с помощью ИИ. #LLM #Архитектура #АйтиЭкспресс