Маршрутизация по KV-кэшу между репликами LLM
16.11.2026
маршрутизация с учётом KV-кэша
prefix cache aware routing
балансировка реплик vLLM SGLang
Как направлять запросы к репликам LLM с учётом KV-кэша: привязка к сессии, SGLang Model Gateway, llm-d, NVIDIA Dynamo, горячие точки и метрики попаданий.
Читать →