KV-кэш в FP8: сколько памяти экономит и как проверить качество
16.11.2026
KV-кэш FP8
kv-cache-dtype fp8 vLLM
квантование KV cache llama.cpp
Как перевести KV-кэш LLM в FP8 в vLLM, SGLang и llama.cpp: расчёт экономии видеопамяти, форматы E4M3 и E5M2, коэффициенты масштаба и тест качества.
Читать →