Почему русский текст в нейросетях дороже: токенизация и бюджет LLM

Русский текст в нейросетях часто стоит дороже английского, потому что модели берут плату за токены, а токенизатор многих моделей режет русские слова на большее число кусков. Разница между моделями велика: по замеру на Хабре от 1 октября 2026 года, один и тот же русский текст в Claude Opus 5 занимает в 3,9 раза больше токенов, чем в GPT-5.5, — при одинаковой цене за токен счёт будет почти вчетверо выше. Поэтому сравнивать модели для русскоязычных задач нужно не по прайсу за миллион токенов, а по цене за 1000 символов или за типичный запрос на ваших данных.

Материал подготовлен AIrassvet по открытым источникам, проверенным 8 октября 2026 года. Он адресован владельцам и финансовым руководителям компаний, ИТ-директорам и продуктовым командам, которые закладывают бюджет на ИИ или выбирают модель для чат-бота, поддержки, работы с документами и ИИ-агентов. Цены в статье приведены по источникам на дату их публикации и быстро меняются; AIrassvet не аффилирован с упомянутыми разработчиками моделей, а раздел в конце описывает услуги издателя.

Содержание

• Что такое токен и почему за него платят
• Что показал замер 11 токенизаторов
• Кратко: насколько русский «тяжелее» английского
• Цена за 1000 символов вместо цены за токен
• Почему это важно для бюджета компании
• Как посчитать расходы на своих данных
• Семь способов снизить стоимость русского текста
• Чего не стоит делать
• Частые вопросы
• Первоисточники и метод проверки

Что такое токен и почему за него платят

Токен — это кусок текста, на который токенизатор модели разбивает запрос и ответ перед обработкой. Это может быть целое слово, часть слова или отдельная буква. Разработчики моделей публикуют цены за миллион входных и выходных токенов, и счёт считается именно в них.

Проблема в том, что токен у каждой модели свой. Словари токенизаторов в основном учились на английском тексте, поэтому английский большинство моделей режут примерно одинаково. Русский — по-разному: модель, в словаре которой мало кириллицы, разбивает слово на несколько кусков или почти по буквам. Тот же смысл превращается в большее число токенов — и в больший счёт.

Это касается не только денег. Контекстное окно тоже измеряется в токенах, поэтому заявленный лимит вмещает меньше русского текста, чем английского: в длинный договор или базу знаний на русском поместится меньше страниц, чем обещает спецификация.

Что показал замер 11 токенизаторов

1 октября 2026 года на Хабре вышел замер 11 токенизаторов, за которыми стоят GPT, Claude, Gemini, DeepSeek, Qwen, GLM, Kimi, Grok, GigaChat и YandexGPT. Автор прогнал через них четыре пары параллельных текстов — русский оригинал и английский перевод того же смысла. Для открытых моделей токены считались локальным токенизатором, для закрытых — через разницу счётчиков в ответах API. 5 октября результаты пересказал CNews.

Главные выводы замера:

• Английский почти у всех одинаковый: около 5 символов на токен у десяти моделей из одиннадцати.
• Русский отличается в пять раз: от примерно 1 символа на токен у Claude Opus 5 до примерно 5 у YandexGPT и GigaChat.
• Модели, сделанные под русский язык, выигрывают: у GigaChat и YandexGPT русский текст занимает даже меньше токенов, чем его английский перевод.
• Переход GPT-4 → GPT-4o почти вдвое сократил русские токены: с 2,29 до 4,01 символа на токен. Если бюджет считали по опыту с GPT-4, его переоценивали.
• На коде разница меньше: латиница и ключевые слова токенизируются привычно, дорожают в основном русские комментарии.

Ограничения замера автор называет сам: текстов немного (около 2 500 символов прозы на язык), часть закрытых моделей измерялась через посредников, а цены в рублях — медианы по сервисам на одну дату. Точные коэффициенты на ваших данных будут отличаться, но порядок моделей, по словам автора, стабилен во всех жанрах.

Кратко: насколько русский «тяжелее» английского

Модели	Насколько русский текст длиннее английского того же смысла (в токенах)
YandexGPT, GigaChat	Русский короче английского
GPT-5.x/6, Gemini, Grok, GLM	На 18–23% длиннее
DeepSeek	На 38% длиннее
Qwen	На 52% длиннее
Kimi	На 86% длиннее
Claude Opus 5	Почти втрое длиннее

Источник: Хабр, 1 октября 2026, три прозаических жанра без кода.

Практический вывод: «английские» оценки бюджета для русскоязычного продукта нужно умножать на языковой коэффициент. Автор замера предлагает ориентиры: плюс около 20% для GPT, Gemini и Grok, плюс 40–50% для DeepSeek и Qwen, втрое больше — для Claude Opus 5.

Цена за 1000 символов вместо цены за токен

Чтобы сравнить модели честно, автор замера пересчитал цены в рубли за 1000 символов русского текста. Цена за миллион токенов — медиана входной цены по сервисам с доступом из России на 27 сентября 2026 года.

• Claude Opus 5 и GPT-5.5 по прайсу одинаковы, но на русском тексте Opus 5 дороже в 3,9 раза: 0,53 ₽ против 0,14 ₽ за 1000 символов входного текста. Для английского текста разница всего 1,55 раза.
• GigaChat 2 Max за токен в 2,3 раза дороже GPT-5.5, а за 1000 русских символов — только в 1,9 раза.
• YandexGPT 5 Lite за токен вдвое дешевле GPT-5.5, а за 1000 русских символов — в 2,6 раза.

Есть важная оговорка: цены одной и той же модели у разных сервисов расходятся в разы. По данным того же замера, на 27 сентября миллион входных токенов Opus 5 стоил 28,5 ₽ у самого дешёвого сервиса и 549 ₽ по медиане. Поэтому рубли из таблицы — инструмент сравнения моделей между собой, а для своего бюджета подставляйте цену вашего поставщика. Языковой множитель при этом не меняется: сколько токенов займёт ваш русский текст, определяет токенизатор модели, а не продавец доступа.

Ещё одна деталь: токенизатор тот же и для ответа. Выходные токены обычно в 3–5 раз дороже входных, поэтому у чат-бота, который много пишет по-русски, эффект сильнее, чем в расчёте только по входу.

Токенизатор может меняться и внутри одного семейства. Anthropic, представляя 7 октября 2026 года Claude Haiku 5.5, снизила цену до $0,10 за миллион входных и $0,50 за миллион выходных токенов для запросов до 100 тысяч токенов и одновременно отметила, что у модели обновлённый токенизатор, из-за которого на задачу уходит немного больше токенов. Снижение цены за токен и рост числа токенов нужно оценивать вместе, и проверять это стоит на русском тексте.

Почему это важно для бюджета компании

8 октября 2026 года CNews опубликовал сценарную оценку Orion soft: 2 тысячи крупнейших российских компаний могут потребить в 2026 году около 912,5 трлн токенов, что соответствует примерно 237 млрд руб. Открытой статистики корпоративного потребления нет, поэтому это модель с допущениями: в среднем 500 тыс. запросов к LLM в сутки на компанию, 2,5 тыс. токенов на запрос и средняя цена 260 руб. за миллион токенов.

Из той же оценки видно, куда растут расходы:

• обычный запрос в корпоративном чате — около 2,5 тыс. токенов, агентская задача с шестью обращениями к модели — около 34 тыс., примерно в 14 раз больше;
• по расчётам Orion soft на тарифах сентября 2026 года, типовой ответ клиенту стоит около 0,04 руб., поиск по базе знаний — 0,19 руб., обработка документа — 0,73 руб., задача ИИ-агента — 1,78 руб.;
• в сценарии на 2027 год потребление может вырасти на 25–50%, если 2–4% обычных запросов заменят агентскими задачами.

Агенты многократно пересылают в модель контекст — инструкции, историю, документы. Если этот контекст на русском, языковой множитель срабатывает на каждом шаге агента. Компания, которая выбрала модель с неудачным токенизатором для русского, платит за это на каждом обращении.

Как посчитать расходы на своих данных

Замер на своих текстах занимает, по оценке автора исследования, около получаса. Порядок действий:

1. Соберите выборку: 20–50 реальных запросов из вашего сценария — системную инструкцию, типичные вопросы пользователей, фрагменты документов из базы знаний, типичные ответы.
2. Посчитайте токены для каждой модели-кандидата. Для открытых моделей — локальным токенизатором; для Claude — официальным бесплатным эндпоинтом Anthropic для подсчёта токенов; для остальных закрытых — по разнице счётчиков usage в двух запросах: с текстом и без него.
3. Пересчитайте в деньги: (входные токены × цена входа + выходные токены × цена выхода) по тарифу вашего поставщика.
4. Умножьте на объём: число запросов в месяц, а для агентов — число обращений к модели на задачу.
5. Сравните с качеством: дешёвая модель полезна, только если ответы проходят вашу проверку.

Показатель	Формула
Стоимость типичного запроса	токены входа × цена входа + токены выхода × цена выхода
Цена за 1000 символов	цена за 1 млн токенов ÷ 1 000 000 × (1000 ÷ символов на токен)
Месячный бюджет	стоимость запроса × запросов в день × рабочих дней
Бюджет агента	стоимость обращения × обращений на задачу × задач в месяц

Формулы — редакционная схема AIrassvet; все входные значения берутся из вашего замера и тарифа поставщика.

Проверьте счётчики посредника. В том же замере у одного агрегатора для двух моделей Claude счётчики токенов совпали с токенизатором OpenAI до единицы. Автор допускает два объяснения: шлюз пересчитывает токены сам или запросы уходят не в ту модель. Если на этих числах построен ваш биллинг, хотя бы раз сверьте их с открытым токенизатором или с кабинетом разработчика модели.

Семь способов снизить стоимость русского текста

1. Выбирать модель по цене за типичный запрос, а не по прайсу за миллион токенов. Замер может поменять выбор модели.
2. Писать служебную часть на английском, если модель плохо токенизирует русский: системную инструкцию, описания инструментов, JSON-схемы. Пользовательский текст и ответ остаются русскими. Автор замера отмечает, что для Opus 5 это сокращает входные токены служебной части почти втрое, но качество русских ответов после такой замены нужно проверить.
3. Маршрутизировать запросы: массовые и простые — в дешёвую модель с хорошим токенизатором для русского, сложные — в сильную. Подробнее — в статье про роутер моделей ИИ.
4. Кэшировать повторяющийся контекст. Повторное чтение закэшированных токенов у многих поставщиков стоит в разы дешевле; например, у Claude Haiku 5.5 чтение из кэша стоит $0,01 за миллион токенов против $0,10 за обычный вход.
5. Сокращать контекст агента: передавать только нужные фрагменты документов через поиск по базе знаний, а не весь документ на каждом шаге. Об этом — в статье про контроль расходов на ИИ при росте токенов.
6. Ограничивать длину ответа там, где длинный ответ не нужен: классификация, извлечение полей, короткие ответы клиентам.
7. Считать собственный контур при большом стабильном объёме: открытая модель на своих серверах меняет плату за токен на затраты на оборудование и сопровождение. Сравнение — в материале облачная или локальная LLM: полная стоимость владения.

Чего не стоит делать

• Не переводить пользовательские данные на английский ради экономии без проверки качества: перевод добавляет вызов модели, ошибки и задержку, а выигрыш может съесть.
• Не сравнивать подписки и API напрямую. Аналитики SemiAnalysis в сравнении подписок разных поставщиков подчёркивают, что «ценность» одного и того же тарифа зависит от модели и типа нагрузки, а лимиты подписок поставщики меняют в любой момент (SemiAnalysis).
• Не закладывать бюджет по одной цене на год. Цены и токенизаторы меняются с каждой новой моделью; замер стоит повторять при смене версии.

Частые вопросы

Почему русский текст в нейросетях стоит дороже английского?

Нейросети берут плату за токены, а токенизаторы многих моделей учились в основном на английском тексте и режут русские слова на большее число кусков. Тот же смысл на русском превращается в больше токенов, поэтому при одинаковой цене за токен счёт выше.

Насколько русский текст дороже в Claude, чем в GPT?

По замеру на Хабре от 1 октября 2026 года, русский текст в Claude Opus 5 занимает в 3,9 раза больше токенов, чем в GPT-5.5. При одинаковой цене за токен обработка того же текста на Opus 5 стоит почти вчетверо дороже; для английского текста разница около 1,55 раза.

Какие модели экономнее всего токенизируют русский язык?

В том же замере лучше всех токенизировали русский YandexGPT и GigaChat: у них русский текст занимает меньше токенов, чем английский перевод. У GPT, Gemini, Grok и GLM русский длиннее английского на 18–23%, у DeepSeek на 38%, у Qwen на 52%, у Kimi на 86%.

Как посчитать, сколько токенов займёт русский текст?

Возьмите 20–50 реальных запросов из своего сценария и посчитайте токены для каждой модели: локальным токенизатором для открытых моделей, официальным эндпоинтом подсчёта для Claude или по разнице счётчиков usage в двух запросах для других закрытых моделей. Затем пересчитайте в деньги по тарифу вашего поставщика.

Как снизить расходы на LLM для русскоязычного продукта?

Выбирайте модель по цене за типичный запрос на своих данных, пишите служебную часть промпта на английском, если модель плохо токенизирует русский, маршрутизируйте простые запросы в дешёвую модель, кэшируйте повторяющийся контекст и сокращайте контекст агентов.

Влияет ли токенизация на контекстное окно модели?

Да. Контекстное окно измеряется в токенах, поэтому у модели, которая дробит русский текст, в заявленный лимит помещается заметно меньше русского текста, чем английского. Для длинных документов и баз знаний на русском это нужно учитывать при выборе модели.

Первоисточники и метод проверки

Проверено 8 октября 2026 года:

• Хабр, 1 октября 2026: «Русский текст в Claude Opus 5 стоит в 3,9 раза дороже, чем в GPT-5.5» — замер 11 токенизаторов, пересчёт в рубли за 1000 символов, методика и ограничения.
• CNews, 5 октября 2026 — пересказ замера.
• Anthropic, Claude Haiku 5.5 — цены Haiku 5.5 и замечание об обновлённом токенизаторе.
• CNews, 8 октября 2026 — сценарная оценка Orion soft потребления токенов крупным бизнесом в 2026–2027 годах.
• SemiAnalysis — сравнение подписок и зависимость их ценности от модели и нагрузки.

Все коэффициенты токенизации и рублёвые цены приведены по замеру автора Хабра на его текстах и на дату его публикации; собственный замер AIrassvet не проводил. Оценка Orion soft — сценарная модель с допущениями, а не статистика. Порядок расчёта, формулы и способы экономии — редакционный анализ AIrassvet.

Как AIrassvet помогает снизить расходы на LLM для русского языка

Если счёт за модели растёт быстрее пользы или вы выбираете модель для нового процесса, задачу можно разобрать по шагам. На сайте AIrassvet, который также использует название «AI студия Владимира Ломтева», описаны направления, применимые к ней:

• Аудит сценариев использования ИИ: замер токенов и стоимости типичного запроса на ваших русскоязычных данных для нескольких моделей.
• Интеграция российских и иностранных моделей через единый слой с маршрутизацией запросов по сложности и стоимости.
• RAG-система по корпоративной базе знаний, чтобы модель получала только нужные фрагменты документов, а не весь текст.
• Развёртывание и дообучение открытой модели на серверах компании, когда объём запросов большой и стабильный.

Первый шаг — выбрать один процесс, описать его текущие показатели, источники данных, ограничения и критерий, по которому вы сравните модели между собой.

Обсудить задачу.

Итог: считайте рубли за запрос, а не цену за токен

Цена за миллион токенов ничего не говорит о стоимости русского текста: разные модели режут его по-разному, и разница доходит до четырёх раз. С ростом агентных задач, где контекст пересылается в модель многократно, этот множитель превращается в заметную статью расходов.

Решение простое и дешёвое: полчаса замера на своих данных, расчёт цены за типичный запрос и маршрутизация запросов между моделями. Это стоит сделать до того, как выбрать модель для нового процесса, и повторять при каждой смене версии.