Структурированный вывод и вызов инструментов в vLLM и SGLang

структурированный вывод vLLM
tool calling vLLM SGLang
JSON schema локальная LLM
Структурированный вывод и вызов инструментов в vLLM и SGLang

vLLM и SGLang умеют ограничивать генерацию так, чтобы ответ модели точно соответствовал JSON-схеме, регулярному выражению, списку вариантов или грамматике. Для вызова инструментов сервер нужно запустить с парсером под конкретную модель, а гарантии зависят от tool_choice: при required и именованной функции вызов будет корректно разобран, при auto аргументы могут иногда не совпасть со схемой. Ограничение формата не делает ответ правильным по смыслу, поэтому проверка значений в приложении остаётся обязательной.

Материал подготовила AI студия Владимира Ломтева 16 ноября 2026 года для разработчиков, которые подключают локальную LLM к системам, ожидающим строгий формат: CRM, учётным системам, агентам с инструментами. Параметры сверены с документацией vLLM по структурированному выводу, vLLM по вызову инструментов и SGLang по структурированному выводу. Код проверен на синтаксис, но не запускался нами на конкретной модели.

Содержание

Почему просьбы «ответь в JSON» недостаточно

Если попросить модель в промпте вернуть JSON, она обычно так и сделает. Но «обычно» плохо работает в интеграции: лишняя фраза перед скобкой, пропущенное поле, кавычка внутри строки — и парсер падает. На тысяче документов в день даже редкие сбои превращаются в ручной разбор.

Ограниченное декодирование решает это на уровне движка. На каждом шаге генерации сервер знает, какие токены допустимы по схеме или грамматике, и запрещает остальные. Модель физически не может выдать невалидную структуру. Цена — небольшие накладные расходы на подготовку ограничений и риск, что слишком жёсткая схема заставит модель заполнить поле, для которого у неё нет данных.

Какие ограничения доступны

Тип Что задаёт Пример задачи
choice Ответ строго из списка вариантов Классификация обращения по категориям
regex Ответ по регулярному выражению Номер договора, дата, ИНН
json / response_format Ответ по JSON-схеме Извлечение реквизитов из документа
grammar Ответ по контекстно-свободной грамматике EBNF SQL-запрос или собственный язык команд
structural_tag (vLLM) JSON-схема внутри заданных тегов в тексте Рассуждение плюс структурированный блок

vLLM: бэкенды и параметры

По документации vLLM использует бэкенды XGrammar и Guidance. Бэкенд выбирается параметром --structured-outputs-config.backend, по умолчанию стоит auto, который подбирает бэкенд по запросу. Бэкенд lm-format-enforcer устарел и, по документации, будет удалён в версии 0.35.0.

Если вы переносите код со старых версий: поля вроде guided_json удалены в v0.12.0, вместо них используется structured_outputs. Документация также предупреждает, что смена бэкенда может изменить вывод: например, lm-format-enforcer использует регулярные выражения в стиле Python, а XGrammar и Guidance — в стиле Rust. Проверяйте схемы и выражения при миграции.

JSON по схеме через стандартный response_format (реквизиты в примере вымышленные):

import os
from openai import OpenAI
from pydantic import BaseModel

class Invoice(BaseModel):
    supplier: str
    inn: str
    total_rub: float
    due_date: str

client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key=os.environ["VLLM_API_KEY"])
text = "Счёт от ООО «Ромашка», ИНН 7701234567, к оплате 125 400 рублей до 30 ноября 2026 года."
reply = client.chat.completions.create(
    model="Qwen/Qwen3-8B",
    messages=[{"role": "user", "content": "Извлеки реквизиты счёта: " + text}],
    response_format={"type": "json_schema",
                     "json_schema": {"name": "invoice", "schema": Invoice.model_json_schema()}},
)
invoice = Invoice.model_validate_json(reply.choices[0].message.content)
print(invoice)

Выбор из списка и регулярное выражение передаются через extra_body:

category = client.chat.completions.create(
    model="Qwen/Qwen3-8B",
    messages=[{"role": "user", "content": "К какой категории относится обращение: «Не пришёл возврат за заказ»?"}],
    extra_body={"structured_outputs": {"choice": ["доставка", "оплата и возврат", "качество", "другое"]}},
)
contract = client.chat.completions.create(
    model="Qwen/Qwen3-8B",
    messages=[{"role": "user", "content": "Номер договора из текста: «по договору № ДП-2026/0457 от 3 марта»"}],
    extra_body={"structured_outputs": {"regex": r"ДП-\d{4}/\d{4}"}},
)
print(category.choices[0].message.content, contract.choices[0].message.content)

SGLang: XGrammar по умолчанию

В SGLang ограничения задаются JSON-схемой, регулярным выражением или EBNF. Поддерживаются бэкенды XGrammar (по умолчанию), Outlines и llguidance; выбор делают флагом --grammar-backend. Документация SGLang рекомендует XGrammar за производительность и возможности и отмечает, что Outlines поддерживает только JSON-схемы и регулярные выражения, без EBNF. Запрос с response_format в формате json_schema выглядит так же, как в vLLM, поэтому клиентский код переносится между серверами без изменений.

Модели с рассуждением

У моделей, которые сначала пишут рассуждение, а потом ответ, ограничение должно применяться к ответу, а не к рассуждению. В vLLM для этого сервер запускают с парсером рассуждений, например --reasoning-parser deepseek_r1. Для отдельных моделей, по документации, структурированный вывод в режиме рассуждения нужно включить явно параметром --structured-outputs-config.enable_in_reasoning=True. В SGLang этому посвящена отдельная страница о структурированном выводе для моделей с рассуждением.

Документация vLLM предупреждает: в собственных грамматиках с границами вроде </think> совпадение декодированного текста ещё не гарантирует, что токены совпадут и парсер сработает. Для таких границ в XGrammar используйте элементы структурных тегов на уровне токенов.

Вызов инструментов в vLLM

Чтобы модель могла вызывать функции через OpenAI-совместимый API, сервер запускают с двумя флагами:

vllm serve Qwen/Qwen3-8B \
  --host 127.0.0.1 --port 8000 \
  --api-key "$VLLM_API_KEY" \
  --enable-auto-tool-choice \
  --tool-call-parser hermes

--tool-call-parser выбирается под модель: в документации перечислены, например, hermes, llama3_json, mistral, pythonic, deepseek_v3 и qwen3_xml. Если шаблон чата модели не умеет работать с сообщениями инструментов, его передают через --chat-template. Какой парсер нужен конкретной модели, смотрите в документации vLLM и в карточке модели.

Поведение зависит от tool_choice:

tool_choice Что гарантирует vLLM
Именованная функция Корректно разбираемый вызов этой функции; качество аргументов не гарантируется
required Один или несколько вызовов инструментов (с версии 0.8.3)
auto Модель сама решает, вызывать ли инструмент; аргументы иногда могут быть некорректными, если у инструмента не задан strict: true или не повышен --tool-strict-level
none Вызовов нет; определения инструментов всё равно попадают в промпт, если не задан --exclude-tools-when-tool-choice-none

Параллельные вызовы зависят от парсера и модели. Документация приводит примеры: у Llama 3 их нет, у Llama 4 есть, а Mistral 7B с ними справляется плохо.

tools = [{
    "type": "function",
    "function": {
        "name": "get_order_status",
        "description": "Статус заказа по номеру",
        "parameters": {
            "type": "object",
            "properties": {"order_id": {"type": "string"}},
            "required": ["order_id"],
        },
        "strict": True,
    },
}]
reply = client.chat.completions.create(
    model="Qwen/Qwen3-8B",
    messages=[{"role": "user", "content": "Где мой заказ 58213?"}],
    tools=tools,
    tool_choice="auto",
)
calls = reply.choices[0].message.tool_calls or []
for call in calls:
    print(call.function.name, call.function.arguments)

В SGLang аналогичную роль играет флаг --tool-call-parser; значение auto берёт парсер из шаблона чата модели. Список парсеров есть в справочнике аргументов SGLang.

Как проектировать схему

  • Делайте поля необязательными, если данных может не быть. Обязательное поле заставит модель что-то придумать. Лучше разрешить null и обработать отсутствие в коде.
  • Используйте перечисления вместо свободного текста там, где набор значений известен: категории, статусы, валюты.
  • Держите схему короткой. Десятки вложенных уровней усложняют задачу модели и подготовку ограничений.
  • Описывайте поля. Поле description в схеме подсказывает модели, что туда класть.
  • Проверяйте значения после ответа. Схема гарантирует, что ИНН — строка, но не что это правильный ИНН. Контрольные суммы, даты и суммы проверяйте кодом.

Как проверить на своих данных

  1. Соберите 100–200 реальных входов с эталонными значениями полей.
  2. Прогоните их без ограничений и с ограничениями, при температуре 0.
  3. Сравните долю валидных ответов, долю правильных значений по каждому полю и время ответа.
  4. Отдельно проверьте трудные случаи: отсутствующие данные, противоречия в документе, длинные тексты.
  5. Для инструментов проверьте, вызывает ли модель нужную функцию, когда должна, и не вызывает ли, когда не должна.

Если вы работаете с Ollama, похожий подход описан в статье «Ollama и JSON-схема: извлечение данных». Как измерять качество моделей на своих задачах — в статье о своём бенчмарке для выбора LLM.

Частые вопросы

Замедляет ли ограниченное декодирование генерацию? Есть накладные расходы на подготовку и применение ограничений; насколько они заметны, зависит от бэкенда, схемы и модели. Измеряйте на своей нагрузке.

Гарантирует ли JSON-схема правильные данные? Нет. Она гарантирует структуру. Модель может поставить в поле неверное значение, поэтому проверка в коде обязательна.

Почему модель не вызывает инструмент? Частые причины: сервер запущен без --enable-auto-tool-choice, выбран не тот --tool-call-parser для модели, шаблон чата не поддерживает инструменты или tool_choice стоит в none.

Можно ли одновременно рассуждение и JSON? Да, с парсером рассуждений; для части моделей нужно явно включить структурированный вывод в режиме рассуждения.

Как AI студия Владимира Ломтева помогает со структурированным выводом

AI студия Владимира Ломтева разворачивает LLM на серверах компании и интегрирует их с корпоративными системами. Для строгих форматов это означает:

  • спроектировать схему ответа и правила проверки значений вместе с владельцами процесса;
  • настроить сервер vLLM или SGLang с нужными бэкендами, парсером инструментов и рассуждений;
  • сравнить на реальных документах точность и задержку с ограничениями и без;
  • встроить ответы модели в учётную систему, CRM или агента с обработкой ошибок.

Первый шаг — выбрать один документ или запрос, который сейчас разбирают вручную, описать нужные поля и записать, какая доля правильно заполненных полей будет приемлемой. Обсудить задачу.

Итог: формат гарантирует сервер, смысл — проверки

Структурированный вывод в vLLM и SGLang убирает целый класс ошибок интеграции: невалидный JSON, лишний текст, неизвестные категории. Для инструментов выбирайте правильный парсер и tool_choice, помня, что режим auto без строгих схем гарантий не даёт. Значения полей проверяйте в коде, а качество — на собственном наборе данных.

Оставить заявку

Заполните форму и мы свяжемся с вами

← Все статьи

Комментарии (0)

Пока нет комментариев. Будьте первым!

Оставить комментарий
Регистрация не требуется