Будущее больших языковых моделей: 10 ограничений и пути развития

Подготовлено: 24 сентября 2026 года.

Большие языковые модели уже умеют писать, программировать, анализировать документы и вызывать внешние инструменты. Но следующее поколение ИИ, вероятно, будет определяться не только числом параметров. Ключевой вопрос — как модели станут лучше работать с длинной историей, выделять время на сложные задачи, обновлять знания и действовать в физическом мире. Это статья для разработчиков, руководителей цифровых продуктов и специалистов, выбирающих архитектуру ИИ-систем. Она объясняет технические ограничения и практические способы их обхода; даты появления «AGI» и гарантированные прогнозы здесь не рассматриваются.

Коротко: длинное окно контекста не заменяет память, цепочка рассуждений не гарантирует правильный ответ, а доступ к инструментам не делает агента автономно надёжным. В ближайшие годы важнее всего будут сочетания моделей, поиска, внешней памяти, проверки действий и экономного распределения вычислений. Это исследовательский прогноз, а не установленный сценарий развития отрасли.

Содержание

• Почему масштабирование уже не даёт простого ответа
• Десять технических барьеров
• Что изменится в архитектуре систем
• Как применять эти идеи в продукте
• Частые вопросы
• Как AI рассвет помогает строить такие системы
• Вывод

Почему масштабирование уже не даёт простого ответа

Современный декодерный трансформер обрабатывает последовательность токенов и предсказывает следующий. Масштабирование модели, данных и вычислений принесло заметный прогресс. Исследование Chinchilla показало, что при фиксированном вычислительном бюджете распределение ресурсов между размером модели и числом обучающих токенов существенно влияет на качество. Это аргумент за более грамотное обучение, а не доказательство того, что масштабирование закончилось. Источник: Hoffmann et al., 2022.

Тема «конца данных» также требует осторожности. Доступные тексты отличаются по качеству, правовому статусу, языку и пригодности для задачи. Например, работа FineWeb описывает корпус в 15 трлн токенов из 96 снимков Common Crawl, но размер корпуса сам по себе не показывает, сколько в нём новых и полезных сигналов для каждой следующей модели. Источник: Penedo et al., 2024.

Поэтому разумнее говорить не о неизбежном плато всех трансформеров, а о снижении отдачи от одного лишь увеличения масштаба в конкретных режимах. Новые алгоритмы внимания, состав данных, внешние инструменты и обучение во время выполнения задач меняют картину. Оценивать их нужно на одной задаче при сопоставимых затратах и требованиях к задержке.

Десять технических барьеров

1. Длинный контекст дорог и используется неравномерно

Обычное полное self-attention сравнивает позиции последовательности попарно: объём вычислений этого блока растёт квадратично с длиной входа. FlashAttention уменьшает обмен данными с памятью ускорителя, сохраняя точное внимание, но не превращает любую длинную последовательность в бесплатную операцию. Источник: Dao et al., 2022.

Есть и вопрос качества. В исследовании *Lost in the Middle* модели хуже находили нужные сведения, когда те находились в середине длинного контекста. Следовательно, заявленный размер окна и способность устойчиво использовать всё его содержимое — разные характеристики. Для длинного проекта полезны поиск по фрагментам, структурированное сжатие и отдельные проверки извлечения информации. Источник: Liu et al., 2023.

2. Вычисления на один шаг ограничены

Один прямой проход модели имеет фиксированное число слоёв и операций для заданной архитектуры. Сложную задачу можно развернуть в несколько шагов генерации, но это увеличивает задержку и не гарантирует, что промежуточные шаги верны. Фраза *«давай думать по шагам»* стала предметом исследования в 2022 году и улучшала результаты отдельных тестов; она не является универсальным алгоритмом решения. Источник: Kojima et al., 2022.

Практическое следствие: задачи с проверяемым результатом стоит сопровождать тестом, выполнением кода или формальной проверкой. Текстовое объяснение модели само по себе не доказывает правильность ответа.

3. Разным задачам нужно разное время на ответ

Приветствие, поиск факта в документе и план многошагового действия требуют разных затрат. Идея адаптивного вычислительного времени существовала задолго до современных LLM: работа Алекса Грейвса 2016 года предлагала сети выбирать число внутренних шагов. Нынешние практические системы часто распределяют бюджет косвенно: выбирают размер модели, длину рассуждения, число вызовов инструментов или момент остановки. Источник: Graves, 2016.

Здесь есть компромисс. Дополнительное «обдумывание» повышает стоимость и иногда ухудшает ответ. Нужен механизм, который решает, когда сложность задачи оправдывает дополнительные вычисления, а когда достаточно быстрого пути.

4. Токенизация скрывает часть структуры текста

Токенизатор разбивает строку на элементы словаря. Это делает обработку эффективнее, но модель видит символы через границы токенов. Отсюда возникают трудности в задачах, где важны точные буквы, опечатки, нестандартные слова или смешение языков. Нельзя утверждать, что модель «вообще не знает» содержимое токена: она может усваивать часть закономерностей из обучения. Однако представление остаётся косвенным.

Один исследовательский путь — обучение на байтах. Byte Latent Transformer использует байтовые фрагменты переменной длины и в опубликованных экспериментах показывает, что отказ от фиксированного словаря можно совместить с конкурентной эффективностью. Это результат конкретной архитектуры и условий сравнения, а не доказательство скорой замены всех токенизаторов. Источник: Pagnoni et al., 2024.

5. Параметры модели не обновляются после каждого разговора

Обычная развёрнутая LLM не меняет свои веса, когда пользователь сообщает новый факт. Она может использовать сведения внутри текущего диалога или получать их из внешней базы, но это не то же самое, что устойчиво освоить новый способ решения задач. RAG — извлечение релевантных документов перед генерацией — помогает с актуальными фактами и цитатами. Он не гарантирует применения нового алгоритма, если модель не умеет им пользоваться. Базовый подход RAG описан в работе Lewis и коллег. Источник: Lewis et al., 2020.

Для продукта это означает разделение двух процедур: обновление справочных данных и изменение поведения модели. Первое обычно решается индексацией документов; второе может потребовать примеров, инструментов, настройки или другой архитектуры.

6. Долговременная память не равна длинному окну

Переписка, журнал действий, база знаний и веса модели — разные виды памяти. Даже если весь архив помещается в окно, модель может извлекать из него сведения неустойчиво. Кроме того, хранить всю историю в каждом запросе дорого и неудобно для контроля доступа.

Рабочая схема обычно состоит из краткого текущего состояния, извлечения проверенных записей по запросу, ссылок на происхождение фактов и правила забывания устаревшего. При этом нужно отдельно проверять ошибки памяти: неверную запись, неправильный поиск и чрезмерное доверие старому факту. Длинный контекст полезен, но не устраняет эти задачи.

7. Агентам нужны инструменты и контроль действий

ИИ-агент — система, которая многократно выбирает действие, получает наблюдение и корректирует план. Языковая модель может быть её ядром, но к ней нужны инструменты, правила доступа, память и проверка результата. Работа ReAct показала подход, в котором рассуждение чередуется с обращением к внешней среде. Источник: Yao et al., 2022.

Демонстрация нескольких удачных траекторий не равна надёжности в реальном процессе. Для делового сценария измеряют долю завершённых задач, число ошибочных действий, стоимость попытки, задержку и необходимость вмешательства человека. Особенно важно ограничить действия, которые меняют деньги, документы или права доступа.

8. Мультимодальность требует общей проверки результата

Изображение, звук, видео и текст отличаются объёмом, временной структурой и типом ошибок. Добавить энкодер к языковой модели — полезный инженерный шаг, но он не гарантирует, что система сохранит именно те детали изображения или звука, которые важны для конкретной задачи. Компоненты можно обучать совместно либо по отдельности; качество зависит от данных и целевого теста.

Для робототехники показателен класс VLA-моделей: они связывают зрение, языковую инструкцию и действие. RT-2 демонстрировал перенос некоторых знаний из визуально-языкового обучения на роботизированные задачи в экспериментальной установке. Это не означает универсального домашнего робота: перенос, безопасность и работа вне тестовой среды требуют отдельной проверки. Источник: Brohan et al., 2023.

9. Не вся система может ждать удалённую большую модель

В физическом устройстве задержка связи и потери пакетов влияют на безопасность. Контур удержания равновесия или остановки движения должен реагировать быстрее, чем сложный облачный планировщик. Поэтому применяют уровни управления: быстрые локальные действия, более медленное планирование и проверку человеком для рискованных решений.

Идея «одной модели на все времена реакции» остаётся исследовательской целью. Уже сегодня правильный вопрос для архитектуры — какая операция допускает сетевую задержку, а какую нужно завершить локально по заранее проверенному правилу. Это инженерный вывод из разных требований к времени реакции, а не утверждение о конкретном будущем стандарте.

10. Генерация и оценка ответа пока плохо разделены

Выбор следующего токена зависит не только от весов модели, но и от способа декодирования. Более разнообразная генерация может помогать творческой задаче, а детерминированная — повторяемости. Единого параметра для всех целей нет. Кроме того, оценка текста, изображения или плана сложнее проверки арифметического ответа: люди могут расходиться в том, что считать хорошим результатом.

Поэтому зрелая система задаёт критерий качества до генерации: точность фактов, соблюдение формата, безопасность действия, творческую новизну или их баланс. «Модель-судья» может ускорить оценку, но её вердикт тоже следует сверять с человеческой разметкой и проверяемыми сигналами. Это особенно важно, когда систему оптимизируют по результатам самой модели-судьи.

Что изменится в архитектуре систем

Перечисленные проблемы не обязательно решатся одной «следующей архитектурой». Вероятнее сосуществование нескольких подходов. Исследование Mamba показывает, что модели с пространством состояний могут обрабатывать длинные последовательности с линейным масштабированием по длине входа в описанной реализации; у них есть собственные компромиссы по качеству и применимости. Источник: Gu и Dao, 2023.

Потребность	Возможное направление	Что проверять на практике
Длинные документы и код	Эффективное внимание, поиск, сжатие, модели состояний	Точность извлечения из середины, цена запроса, задержка
Сложные рассуждения	Дополнительные шаги, инструменты, проверяющие программы	Доля верных ответов при фиксированном бюджете
Актуальные знания	RAG, внешняя память, обновление поведения	Свежесть источника, цитата, воспроизведение нового метода
Действия агента	Планирование, права доступа, журнал и откат	Успех задачи и цена ошибочного действия
Физический мир	VLA, локальное управление, иерархия реакций	Задержка, устойчивость, безопасность вне демонстрации

Такой взгляд полезнее спора о том, «умнее ли модель человека». Термин AGI не задаёт стоимость, время выполнения, надёжность и способ проверки результата. Для реальной системы эти параметры важнее ярлыка. У модели, которая решает задачу за час и с дорогим вызовом инструмента, и у модели, которая делает то же за секунду локально, разные области применения.

Как применять эти идеи в продукте

Начните с задачи, а не с выбора самой крупной модели. Запишите входные данные, допустимую задержку, стоимость ошибки, объём истории и критерий завершения. Затем сравните простой вариант с более сложными: поиск по документам, инструмент, агентный цикл, локальная малая модель и удалённая большая модель.

1. Соберите контрольный набор. Включите обычные и неудобные случаи: длинный документ с ответом в середине, устаревший регламент, противоречивые данные, отсутствие доступа к инструменту.
2. Определите измерения. Фиксируйте правильность, задержку, стоимость, долю ручных исправлений и ошибки с последствиями. Сравнивайте варианты при одинаковом наборе задач.
3. Разделите знания и действия. Документы должны иметь источник и дату; действия — разрешения, журнал и возможность остановки.
4. Проверьте рабочую нагрузку. Сценарий, который удачен в демо, может деградировать при параллельных запросах, длинной истории или медленном внешнем сервисе.
5. Пересматривайте архитектуру по данным теста. Если поиск возвращает верный документ, а ответ ошибочен, улучшайте использование контекста. Если документ не найден, исправляйте индекс и поиск.

Этот порядок не требует ждать появления принципиально новой модели. Он помогает решить, какую часть задачи можно автоматизировать сейчас и где остаётся исследовательский риск.

Частые вопросы

Означает ли большой контекст, что модели больше не нужна память?

Нет. Окно ограничивает объём доступного входа, а память требует отбора, обновления, проверки происхождения и контроля доступа. Даже внутри длинного окна качество извлечения может зависеть от расположения нужного фрагмента.

Заменят ли трансформеры модели с рекуррентностью?

Это неизвестно. Модели состояний и гибриды предлагают иной компромисс по длине последовательности, скорости и качеству. Выбор зависит от задачи и измерений при равном бюджете.

Решает ли RAG проблему устаревших знаний?

RAG помогает доставить свежий источник в запрос. Но система ещё должна найти правильный документ, понять его и не смешать с устаревшими сведениями. Новый навык не всегда приобретается простым добавлением инструкции в базу.

Можно ли назвать ИИ-агента самостоятельным сотрудником?

Такое сравнение скрывает условия работы. Полезнее описать конкретные инструменты, пределы полномочий, процент успешных задач, стоимость ошибок и порядок вмешательства человека.

Когда появится AGI?

Надёжной даты нет: сам термин зависит от того, какие задачи, бюджет и критерии успеха включены в определение. Для решения о внедрении лучше измерять качество на собственном наборе задач.

Как AI рассвет помогает строить такие системы

Практический путь начинается с одного процесса и проверяемой цели. Команда AI рассвет может: провести аудит процесса и источников данных; собрать базу знаний с поиском для актуальных документов; интегрировать ИИ-агента с рабочими системами и ограниченными действиями; протестировать качество, задержку и ошибки перед запуском. Эти направления соответствуют описанным услугам AI рассвет; результат конкретного проекта зависит от данных и требований.

Первый шаг — выбрать один процесс, зафиксировать его текущие показатели, источники данных, ограничения и критерий приёмки. Затем можно обсудить задачу.

Вывод

Будущее больших языковых моделей — это, вероятно, не одна гигантская сеть, а системы, которые точнее распределяют вычисления, обращаются к проверенным источникам, помнят нужное, используют инструменты и безопасно действуют в разных средах. Масштабирование базовых моделей остаётся важным, но его пользу следует сравнивать с затратами и качеством на конкретной задаче. Для разработчика следующий шаг — измерить ограничение в своём сценарии и выбрать архитектуру, которая устраняет именно его.