Ускорение локального ИИ с помощью MTP

В видео рассказывается, как ускорить генерацию ответа в LM Studio или llama-server с помощью MTP (Multi Token Prediction) Железо: 6gb rtx2060, 32Gb ram ddr4, Ryzen 9 с 8 ядрами. Команда: llama-server -m путь/к/модели \ --fit off \ --reasoning on \ --ctx-size 65536 \ --seed 42 \ --gpu-layers 99 \ --n-cpu-moe 39 \ --flash-attn on \ --parallel 1 \ --spec-type draft-mtp --spec-draft-n-max 3 \ --temperature 0