Квантование LLM: как сжать модель в 4 раза и не сломать качество

Квантование обещает уменьшить модель в несколько раз, освободить память и ускорить локальный запуск. Но INT4 не означает «ровно 4 бита на вес», маленький файл не гарантирует больше токенов в секунду, а средний бенчмарк может скрыть изменившиеся ответы. В этом выпуске разбираем механику квантования на уровне кодов, scale и zero point; различия W4A16 и W8A8; квантованный KV-cache; PTQ и QAT; GPTQ, AWQ, bitsandbytes, QLoRA и GGUF; тернарный BitNet 1.58; риски для русского языка, математики, кода и JSON. Главный практический вывод: выбирайте не самый маленький файл, а самый точный вариант, который помещается на вашем железе и проходит ваши реальные тесты. #ИИ #LLM #Квантование #ЛокальныеМодели #Comrad404