Статьи по тегу: квантизация LLM

Что такое квантизация LLM простыми словами: как модели сжимают до 8 и 4 бит, сколько видеопамяти это экономит, чем отличаются GPTQ, AWQ, GGUF и FP8 и где теряется качество.