Утечка KV-кэша в SGLang: как изолировать пользователей LLM

утечка KV-кэша SGLang
изоляция пользователей сервер инференса
cache_salt vLLM
Утечка KV-кэша в SGLang: как изолировать пользователей LLM

26 октября 2026 года Cloudflare и команда SGLang раскрыли инцидент: с 27 августа по 9 сентября 155 ответов модели GLM-5.3 на Workers AI содержали фрагменты чужих запросов. Причина — сочетание ошибки конфигурации и ошибки SGLang в режиме раздельных prefill и decode, при котором ответ строился поверх чужих страниц KV-кэша. Если вы запускаете SGLang с раздельными фазами, обновитесь не ниже версии 0.5.22, проверьте, что KV-пул вмещает максимальный контекст, и добавьте проверки изоляции. Для общего сервера инференса в целом урок шире: кэш — это пользовательские данные, и его изоляцию нужно проверять тестами.

Материал подготовила AI студия Владимира Ломтева 16 ноября 2026 года для команд, которые держат общий сервер LLM для нескольких пользователей, отделов или клиентов. Факты взяты из разбора Cloudflare и бюллетеня LMSYS, даты выпусков SGLang — со страницы выпусков на GitHub. Мы не воспроизводили ошибку и не проверяли версии самостоятельно на GPU.

Содержание

Что произошло: хронология

Дата (UTC) Событие
6 июля 2026 Ошибка уже была описана в репозитории SGLang как issue #30233
27 августа Запуск GLM-5.3 на Workers AI; с этого момента ошибка присутствует
8 сентября, 23:11 Исследователь Гади Эврон (Knostic) сообщает о проблеме через HackerOne
9 сентября, 13:22 Cloudflare объявляет инцидент; утечка воспроизведена за 25 минут
9 сентября, 14:00 Модель закрыта, запросы получают HTTP 400
9 сентября, 19:40 Модель возвращена после исправлений
2 октября Выпуск SGLang 0.5.21
19 октября Выпуск SGLang 0.5.22
26 октября Согласованное публичное раскрытие
2 ноября Выпуск SGLang 0.5.23 с дополнительными исправлениями для NIXL и MORI

По данным Cloudflare, затронуты 155 ответов, все — на промпты длиннее 681 280 токенов. Признаков намеренной эксплуатации компания не нашла, а другие модели Workers AI инцидент не затронул.

Почему ответ оказался собран из чужих данных

Разбор Cloudflare описывает две наложившиеся причины.

Ошибка конфигурации. Окно контекста модели было задано как 1 048 576 токенов, а KV-пул на prefill-GPU вмещал только 681 280. Команда знала о несоответствии до запуска, но не считала его проблемой: тесты с длинным контекстом возвращали HTTP 200. Код ответа был правильным, а содержимое — нет.

Ошибка в SGLang. Запрос, который не помещался в пул, помечался как отклонённый и заменялся заглушкой в один токен. Но очереди допуска в режиме раздельных фаз проверяли, завершён ли запрос, а не отклонён ли он. В результате отклонённый запрос всё равно проходил дальше: decode резервировал 8 страниц KV-кэша, записывал только одну, а механизм внимания читал все. Остальные страницы хранили данные предыдущих запросов других пользователей.

Бюллетень LMSYS описывает и более общий механизм. В режиме раздельных фаз prefill записывает KV-кэш на decode-реплику через RDMA. Если запрос прерывается во время передачи, а decode успевает освободить и отдать его страницы другому запросу до того, как поздние записи дошли, эти записи перезапишут чужой кэш. Ошибка не оставляет записей в логах, поэтому по логам нельзя установить, была ли утечка.

Как устроены раздельные фазы и зачем они нужны, разобрано в статье о раздельных prefill и decode.

Кого касается

Ключевые условия по бюллетеню LMSYS:

  1. Включены раздельные prefill и decode с передачей кэша через Mooncake, NIXL, MORI или собственный бэкенд. Одиночный экземпляр без передачи кэша между движками этой гонке не подвержен.
  2. Запрос завершается во время передачи: клиент отключился, маршрутизатор отменил запрос, истёк тайм-аут, произошёл сбой сети или prefill.
  3. Распределитель памяти повторно отдаёт освобождённые страницы раньше, чем дошли записи.

Затронуты настройки по умолчанию от линейки 0.4.x до 0.5.21 для Mooncake и NIXL и до 0.5.22 для MORI. Отдельный вариант был связан с выгрузкой HiCache на стороне decode, которая по умолчанию выключена. Исправления не переносились в старые ветки выпусков.

Если у вас один сервер на vLLM, Ollama или llama.cpp без раздельных фаз, этот конкретный инцидент вас не касается. Но вопрос изоляции пользователей остаётся, и о нём ниже.

Что сделать операторам SGLang

Рекомендации Cloudflare и LMSYS совпадают по сути:

  • Обновиться. Cloudflare рекомендует версию 0.5.22 или новее. По LMSYS, исправления для Mooncake и NIXL вошли в 0.5.21, для MORI — в 0.5.22, а в 0.5.23 исправлено подтверждение неудачных отправок для NIXL и MORI. Разумная цель — актуальная версия.
  • Проверить размер KV-пула. На каждом prefill- и decode-узле пул должен вмещать настроенную длину контекста. Cloudflare после исправления держит пул около 2,04 млн токенов — примерно вдвое больше контекста — и проверяет это условие перед каждым развёртыванием.
  • Отменять обе половины пары. Маршрутизатор при отмене запроса должен прерывать и prefill, и decode. По LMSYS, sgl-router в режиме раздельных фаз делает это.
  • Включить отложенное освобождение кэша. На версиях 0.5.19 и 0.5.20, если обновиться сразу нельзя, LMSYS рекомендует переменную SGLANG_DISAGGREGATION_DEFERRED_DECODE_KV_RELEASE=1 на prefill и decode, а на 0.5.20 — ещё ограничение пакета передачи Mooncake и тайм-аут отложенного освобождения 60–120 секунд.
  • Включить обнаружение повреждений. Флаг --disaggregation-enable-kv-checksum на обоих движках проверяет целостность переданного кэша; он выключен по умолчанию и добавляет нагрузку на GPU. Cloudflare также упоминает --kv-canary там, где модель его поддерживает.
  • Следить за метрикой. sglang:decode_deferred_kv_release_total{outcome}: высокая доля исхода timeout означает, что путь подтверждения работает плохо.
  • Не прерывать передачу без необходимости. Cloudflare изменила балансировщик, чтобы он не обрывал запросы до первого токена без причины.

Изоляция пользователей на общем сервере инференса

Этот инцидент — частный случай общей задачи. Когда один сервер обслуживает разных пользователей, у них общие видеопамять, KV-кэш, очередь и логи. Что стоит проверить независимо от движка:

Общий prefix cache. Если два пользователя отправляют запросы с одинаковым началом, движок может переиспользовать кэш. Это не прямая утечка текста, но по разнице во времени ответа злоумышленник теоретически может догадаться, что такой префикс уже кто-то отправлял. В описании prefix caching в vLLM для этого есть параметр запроса cache_salt: соль подмешивается в хеш первого блока, и кэш переиспользуется только между запросами с одинаковой солью. Документация называет защиту от атак по времени прямой целью этой функции и предупреждает, что некриптографический алгоритм хеширования в многопользовательской среде может привести к утечке.

{
  "model": "Qwen/Qwen3-8B",
  "messages": [{"role": "user", "content": "Сводка по договору поставки"}],
  "cache_salt": "tenant-finance-2026"
}

Соль удобно задавать на шлюзе по арендатору или отделу, а не доверять её клиенту. Внутри одной группы доверия кэш продолжит работать, между группами — нет.

Канареечные тесты. Cloudflare проверяла исправление скриптом исследователя и тестами с маркерами. Идея простая и подходит любой команде: в тестовые запросы разных синтетических арендаторов вставляются уникальные строки-маркеры, а ответы проверяются на появление чужих маркеров. Запускайте такие тесты после каждого обновления движка и изменения конфигурации, включая сценарии с длинным контекстом, отменой запросов и перегрузкой.

Инварианты конфигурации. Главный урок Cloudflare — проверки, которые возвращают «200 OK», не доказывают корректность. Перед развёртыванием автоматически проверяйте: KV-пул вмещает максимальный контекст, версии prefill и decode совпадают, лимиты длины запроса на шлюзе не больше возможностей движка.

Логи и доступ. В логах сервера инференса оказываются промпты и ответы. Ограничьте доступ к ним, задайте срок хранения и не пишите полные тексты, если они не нужны для разбора инцидентов. Метрики Prometheus текстов не содержат, но и о них стоит подумать: метки с идентификаторами клиентов тоже чувствительны. Базовая настройка описана в статье о мониторинге vLLM.

Обновления. Серверы инференса быстро развиваются, и исправления безопасности приходят в обычных выпусках. Подпишитесь на страницу выпусков своего движка и закладывайте регулярное окно обновления. Требования к закрытому контуру, где обновления приходят вручную, разобраны в статье «LLM без интернета».

Чек-лист изоляции для общего сервера LLM

  1. Версия движка не старше той, где исправлены известные проблемы изоляции.
  2. KV-пул вмещает максимальный контекст на каждом узле; это проверяется автоматически.
  3. Prefix cache изолирован по арендаторам через соль или отдельные реплики, если пользователи не доверяют друг другу.
  4. Маршрутизатор корректно отменяет запросы целиком.
  5. Канареечные тесты с маркерами запускаются после каждого изменения.
  6. Доступ к логам с промптами ограничен, срок хранения задан.
  7. Есть процедура: кто и за сколько минут может закрыть модель при подозрении на утечку.

Частые вопросы

Касается ли это vLLM? Описанная ошибка — в SGLang. Но vLLM тоже поддерживает раздельные фазы и общий prefix cache, поэтому канареечные тесты и проверки конфигурации полезны и для него.

Можно ли по логам понять, была ли утечка у нас? По словам LMSYS, повреждение из-за этой ошибки не оставляет ошибок и строк в логах, поэтому надёжно установить факт утечки по логам нельзя. Сохраните топологию, шаблоны запросов и метрики освобождения кэша и сообщите разработчикам SGLang, если подозреваете проблему.

Отключить prefix caching ради безопасности? Обычно достаточно изолировать кэш по арендаторам солью или отдельными репликами. Полное отключение убирает и пользу кэша.

Нужно ли сообщать пользователям? Это юридический вопрос, который зависит от договора и закона о персональных данных. Заранее определите процедуру вместе с юристом и службой безопасности.

Как AI студия Владимира Ломтева помогает с изоляцией на общем сервере LLM

AI студия Владимира Ломтева разворачивает LLM на серверах компании, тестирует их и сопровождает в эксплуатации. Для изоляции пользователей это означает:

  • проверить версию движка, режим раздельных фаз и размеры KV-пула на соответствие опубликованным рекомендациям;
  • настроить изоляцию prefix cache по отделам или клиентам на шлюзе;
  • подготовить канареечные тесты с маркерами и встроить их в процедуру обновления;
  • описать правила работы с логами и порядок действий при подозрении на утечку.

Первый шаг — выбрать один общий сервер или модель, перечислить, чьи данные он обрабатывает, и записать, какие проверки изоляции выполняются сейчас. Обсудить задачу.

Итог: кэш — это данные пользователей

Инцидент с GLM-5.3 показал, что ошибка в управлении KV-кэшем может превратить общий сервер инференса в канал утечки без единой ошибки в логах. Операторам SGLang с раздельными фазами нужно обновиться и проверить размер KV-пула. Всем остальным — относиться к кэшу как к пользовательским данным: изолировать его по группам доверия, проверять конфигурацию автоматически и регулярно запускать тесты с маркерами.

Оставить заявку

Заполните форму и мы свяжемся с вами

← Все статьи

Комментарии (0)

Пока нет комментариев. Будьте первым!

Оставить комментарий
Регистрация не требуется