vLLM и SGLang умеют ограничивать генерацию так, чтобы ответ модели точно соответствовал JSON-схеме, регулярному выражению, списку вариантов или грамматике. Для вызова инструментов сервер нужно запустить с парсером под конкретную модель, а гарантии зависят от tool_choice: при required и именованной функции вызов будет корректно разобран, при auto аргументы могут иногда не совпасть со схемой. Ограничение формата не делает ответ правильным по смыслу, поэтому проверка значений в приложении остаётся обязательной.
Материал подготовила AI студия Владимира Ломтева 16 ноября 2026 года для разработчиков, которые подключают локальную LLM к системам, ожидающим строгий формат: CRM, учётным системам, агентам с инструментами. Параметры сверены с документацией vLLM по структурированному выводу, vLLM по вызову инструментов и SGLang по структурированному выводу. Код проверен на синтаксис, но не запускался нами на конкретной модели.
Содержание
- Почему просьбы «ответь в JSON» недостаточно
- Какие ограничения доступны
- vLLM: бэкенды и параметры
- SGLang: XGrammar по умолчанию
- Модели с рассуждением
- Вызов инструментов в vLLM
- Как проектировать схему
- Как проверить на своих данных
- Частые вопросы
Почему просьбы «ответь в JSON» недостаточно
Если попросить модель в промпте вернуть JSON, она обычно так и сделает. Но «обычно» плохо работает в интеграции: лишняя фраза перед скобкой, пропущенное поле, кавычка внутри строки — и парсер падает. На тысяче документов в день даже редкие сбои превращаются в ручной разбор.
Ограниченное декодирование решает это на уровне движка. На каждом шаге генерации сервер знает, какие токены допустимы по схеме или грамматике, и запрещает остальные. Модель физически не может выдать невалидную структуру. Цена — небольшие накладные расходы на подготовку ограничений и риск, что слишком жёсткая схема заставит модель заполнить поле, для которого у неё нет данных.
Какие ограничения доступны
| Тип | Что задаёт | Пример задачи |
|---|---|---|
choice |
Ответ строго из списка вариантов | Классификация обращения по категориям |
regex |
Ответ по регулярному выражению | Номер договора, дата, ИНН |
json / response_format |
Ответ по JSON-схеме | Извлечение реквизитов из документа |
grammar |
Ответ по контекстно-свободной грамматике EBNF | SQL-запрос или собственный язык команд |
structural_tag (vLLM) |
JSON-схема внутри заданных тегов в тексте | Рассуждение плюс структурированный блок |
vLLM: бэкенды и параметры
По документации vLLM использует бэкенды XGrammar и Guidance. Бэкенд выбирается параметром --structured-outputs-config.backend, по умолчанию стоит auto, который подбирает бэкенд по запросу. Бэкенд lm-format-enforcer устарел и, по документации, будет удалён в версии 0.35.0.
Если вы переносите код со старых версий: поля вроде guided_json удалены в v0.12.0, вместо них используется structured_outputs. Документация также предупреждает, что смена бэкенда может изменить вывод: например, lm-format-enforcer использует регулярные выражения в стиле Python, а XGrammar и Guidance — в стиле Rust. Проверяйте схемы и выражения при миграции.
JSON по схеме через стандартный response_format (реквизиты в примере вымышленные):
import os
from openai import OpenAI
from pydantic import BaseModel
class Invoice(BaseModel):
supplier: str
inn: str
total_rub: float
due_date: str
client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key=os.environ["VLLM_API_KEY"])
text = "Счёт от ООО «Ромашка», ИНН 7701234567, к оплате 125 400 рублей до 30 ноября 2026 года."
reply = client.chat.completions.create(
model="Qwen/Qwen3-8B",
messages=[{"role": "user", "content": "Извлеки реквизиты счёта: " + text}],
response_format={"type": "json_schema",
"json_schema": {"name": "invoice", "schema": Invoice.model_json_schema()}},
)
invoice = Invoice.model_validate_json(reply.choices[0].message.content)
print(invoice)
Выбор из списка и регулярное выражение передаются через extra_body:
category = client.chat.completions.create(
model="Qwen/Qwen3-8B",
messages=[{"role": "user", "content": "К какой категории относится обращение: «Не пришёл возврат за заказ»?"}],
extra_body={"structured_outputs": {"choice": ["доставка", "оплата и возврат", "качество", "другое"]}},
)
contract = client.chat.completions.create(
model="Qwen/Qwen3-8B",
messages=[{"role": "user", "content": "Номер договора из текста: «по договору № ДП-2026/0457 от 3 марта»"}],
extra_body={"structured_outputs": {"regex": r"ДП-\d{4}/\d{4}"}},
)
print(category.choices[0].message.content, contract.choices[0].message.content)
SGLang: XGrammar по умолчанию
В SGLang ограничения задаются JSON-схемой, регулярным выражением или EBNF. Поддерживаются бэкенды XGrammar (по умолчанию), Outlines и llguidance; выбор делают флагом --grammar-backend. Документация SGLang рекомендует XGrammar за производительность и возможности и отмечает, что Outlines поддерживает только JSON-схемы и регулярные выражения, без EBNF. Запрос с response_format в формате json_schema выглядит так же, как в vLLM, поэтому клиентский код переносится между серверами без изменений.
Модели с рассуждением
У моделей, которые сначала пишут рассуждение, а потом ответ, ограничение должно применяться к ответу, а не к рассуждению. В vLLM для этого сервер запускают с парсером рассуждений, например --reasoning-parser deepseek_r1. Для отдельных моделей, по документации, структурированный вывод в режиме рассуждения нужно включить явно параметром --structured-outputs-config.enable_in_reasoning=True. В SGLang этому посвящена отдельная страница о структурированном выводе для моделей с рассуждением.
Документация vLLM предупреждает: в собственных грамматиках с границами вроде </think> совпадение декодированного текста ещё не гарантирует, что токены совпадут и парсер сработает. Для таких границ в XGrammar используйте элементы структурных тегов на уровне токенов.
Вызов инструментов в vLLM
Чтобы модель могла вызывать функции через OpenAI-совместимый API, сервер запускают с двумя флагами:
vllm serve Qwen/Qwen3-8B \
--host 127.0.0.1 --port 8000 \
--api-key "$VLLM_API_KEY" \
--enable-auto-tool-choice \
--tool-call-parser hermes
--tool-call-parser выбирается под модель: в документации перечислены, например, hermes, llama3_json, mistral, pythonic, deepseek_v3 и qwen3_xml. Если шаблон чата модели не умеет работать с сообщениями инструментов, его передают через --chat-template. Какой парсер нужен конкретной модели, смотрите в документации vLLM и в карточке модели.
Поведение зависит от tool_choice:
tool_choice |
Что гарантирует vLLM |
|---|---|
| Именованная функция | Корректно разбираемый вызов этой функции; качество аргументов не гарантируется |
required |
Один или несколько вызовов инструментов (с версии 0.8.3) |
auto |
Модель сама решает, вызывать ли инструмент; аргументы иногда могут быть некорректными, если у инструмента не задан strict: true или не повышен --tool-strict-level |
none |
Вызовов нет; определения инструментов всё равно попадают в промпт, если не задан --exclude-tools-when-tool-choice-none |
Параллельные вызовы зависят от парсера и модели. Документация приводит примеры: у Llama 3 их нет, у Llama 4 есть, а Mistral 7B с ними справляется плохо.
tools = [{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Статус заказа по номеру",
"parameters": {
"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"],
},
"strict": True,
},
}]
reply = client.chat.completions.create(
model="Qwen/Qwen3-8B",
messages=[{"role": "user", "content": "Где мой заказ 58213?"}],
tools=tools,
tool_choice="auto",
)
calls = reply.choices[0].message.tool_calls or []
for call in calls:
print(call.function.name, call.function.arguments)
В SGLang аналогичную роль играет флаг --tool-call-parser; значение auto берёт парсер из шаблона чата модели. Список парсеров есть в справочнике аргументов SGLang.
Как проектировать схему
- Делайте поля необязательными, если данных может не быть. Обязательное поле заставит модель что-то придумать. Лучше разрешить
nullи обработать отсутствие в коде. - Используйте перечисления вместо свободного текста там, где набор значений известен: категории, статусы, валюты.
- Держите схему короткой. Десятки вложенных уровней усложняют задачу модели и подготовку ограничений.
- Описывайте поля. Поле
descriptionв схеме подсказывает модели, что туда класть. - Проверяйте значения после ответа. Схема гарантирует, что ИНН — строка, но не что это правильный ИНН. Контрольные суммы, даты и суммы проверяйте кодом.
Как проверить на своих данных
- Соберите 100–200 реальных входов с эталонными значениями полей.
- Прогоните их без ограничений и с ограничениями, при температуре 0.
- Сравните долю валидных ответов, долю правильных значений по каждому полю и время ответа.
- Отдельно проверьте трудные случаи: отсутствующие данные, противоречия в документе, длинные тексты.
- Для инструментов проверьте, вызывает ли модель нужную функцию, когда должна, и не вызывает ли, когда не должна.
Если вы работаете с Ollama, похожий подход описан в статье «Ollama и JSON-схема: извлечение данных». Как измерять качество моделей на своих задачах — в статье о своём бенчмарке для выбора LLM.
Частые вопросы
Замедляет ли ограниченное декодирование генерацию? Есть накладные расходы на подготовку и применение ограничений; насколько они заметны, зависит от бэкенда, схемы и модели. Измеряйте на своей нагрузке.
Гарантирует ли JSON-схема правильные данные? Нет. Она гарантирует структуру. Модель может поставить в поле неверное значение, поэтому проверка в коде обязательна.
Почему модель не вызывает инструмент? Частые причины: сервер запущен без --enable-auto-tool-choice, выбран не тот --tool-call-parser для модели, шаблон чата не поддерживает инструменты или tool_choice стоит в none.
Можно ли одновременно рассуждение и JSON? Да, с парсером рассуждений; для части моделей нужно явно включить структурированный вывод в режиме рассуждения.
Как AI студия Владимира Ломтева помогает со структурированным выводом
AI студия Владимира Ломтева разворачивает LLM на серверах компании и интегрирует их с корпоративными системами. Для строгих форматов это означает:
- спроектировать схему ответа и правила проверки значений вместе с владельцами процесса;
- настроить сервер vLLM или SGLang с нужными бэкендами, парсером инструментов и рассуждений;
- сравнить на реальных документах точность и задержку с ограничениями и без;
- встроить ответы модели в учётную систему, CRM или агента с обработкой ошибок.
Первый шаг — выбрать один документ или запрос, который сейчас разбирают вручную, описать нужные поля и записать, какая доля правильно заполненных полей будет приемлемой. Обсудить задачу.
Итог: формат гарантирует сервер, смысл — проверки
Структурированный вывод в vLLM и SGLang убирает целый класс ошибок интеграции: невалидный JSON, лишний текст, неизвестные категории. Для инструментов выбирайте правильный парсер и tool_choice, помня, что режим auto без строгих схем гарантий не даёт. Значения полей проверяйте в коде, а качество — на собственном наборе данных.






