Чтобы запустить локальную LLM через Ollama, установите приложение, загрузите локальный вариант модели и проверьте ответ через терминал или API. Для первого запуска нужна небольшая модель и короткий запрос: так проще отделить проблемы установки от нехватки памяти. После этого проверяют использование GPU, качество на своей задаче и доступ приложения к серверу.
Инструкцию подготовила AI студия Владимира Ломтева 14 ноября 2026 года для разработчиков и ИТ-специалистов, начинающих локальный запуск. Команды основаны на документации Ollama; собственный аппаратный тест в рамках материала не выполнялся. Пример использует текстовую Qwen2.5 1.5B как небольшой учебный артефакт, а не рекомендацию лучшей модели для бизнеса. Обучение и высоконагруженный кластер в инструкцию не входят.
Содержание
- Что подготовить перед установкой
- Как выбрать модель для первого запуска
- Установка на Windows, macOS и Linux
- Загрузка и первый диалог
- Первый запрос к локальному API
- Подключение из Python без дополнительных библиотек
- Как проверить использование GPU
- Контекст, удержание модели и параллельные обращения
- Как дать доступ другому приложению
- Ошибки первого запуска
- Чек-лист приёмки первого запуска
- Частые вопросы
Что подготовить перед установкой
Ollama управляет загрузкой и запуском моделей и предоставляет программный интерфейс. Вы можете начать с диалога в терминале, затем подключить тот же сервер к приложению. Локальное исполнение означает, что вычисления модели выполняются на вашем компьютере или сервере; загрузка самих файлов первоначально требует доступа к источнику.
В текущей экосистеме Ollama есть и облачные возможности, поэтому слово Ollama само по себе не доказывает локальность выбранного маршрута. Перед работой с внутренними документами проверьте конкретную модель, адрес API и сетевые обращения. Официальный quickstart отдельно описывает локальный и облачный способы использования.
Запишите операционную систему, объём RAM, доступную VRAM, свободное место на диске и наличие подходящего GPU. Память файла весов — лишь часть требований. Контекст, промежуточные данные и параллельные обращения увеличивают расход ресурсов. Не начинайте с максимально доступного размера модели: первый успешный ответ должен проверить именно установку.
Как выбрать модель для первого запуска
Для учебного примера используется существующий тег qwen2.5:1.5b в каталоге Ollama. Его задача — дать компактный понятный маршрут. На рабочем процессе модель выбирают заново по качеству, лицензии, размеру и поддержке нужных функций.
Не выбирайте только по числу параметров. Для извлечения полей важны точность и формат ответа, для базы знаний — работа с предоставленным контекстом, для агента — поддержка инструментов и устойчивость многошагового исполнения. Требуемую функцию нужно проверить на конкретном варианте модели, а не на названии семейства.
Полезно сначала подготовить несколько разрешённых примеров: простой вопрос, текст с отсутствующим полем, неоднозначную заявку и запрос с явным запретом придумывать данные. Такой набор не заменяет полноценную приёмку, но помогает заметить очевидное несоответствие ещё до интеграции.
Установка на Windows, macOS и Linux
На Windows и macOS начните с официальной страницы загрузки Ollama и установщика для своей системы. После установки откройте приложение и новый терминал. На Linux используйте актуальную инструкцию проекта: способ установки и настройки службы зависит от среды.
Для Linux можно сначала скачать официальный скрипт в файл и прочитать его, вместо немедленного исполнения из сети:
curl -fsSL https://ollama.com/install.sh -o ollama-install.sh
less ollama-install.sh
sh ollama-install.sh
Последняя команда устанавливает программное обеспечение и может запрашивать системные права. Выполняйте её только в предназначенной для этого среде. В закрытом контуре установка через внешнюю сеть не подходит: там нужен заранее подготовленный выпуск с зависимостями.
Проверьте доступность команды:
ollama --version
Если команда не найдена, перезапустите терминал и проверьте завершение установки. Ошибка PATH отличается от ошибки сервера: в первом случае система не находит программу, во втором клиент найден, но не может связаться с процессом исполнения.
Загрузка и первый диалог
Загрузите учебную модель и запустите диалог:
ollama pull qwen2.5:1.5b
ollama run qwen2.5:1.5b
Задайте короткий запрос, например: «Объясни одним предложением, что такое локальный инференс». Первоначальный запуск может включать загрузку модели в память. Для оценки обычного отклика отправьте следующий запрос после первого завершения.
Посмотреть загруженные на диск модели и работающие в памяти экземпляры можно отдельно:
ollama list
ollama ps
Это разные проверки. Наличие модели в списке файлов не означает, что она сейчас занимает память GPU. И наоборот, завершение диалога не обязательно немедленно освобождает все ресурсы: поведение удержания регулируется настройками сервера и запросов.
Если клиент сообщает, что сервер недоступен, сначала запустите установленное приложение или соответствующую службу. Для ручного foreground-запуска используется ollama serve; не запускайте второй экземпляр на уже занятом порту.
Первый запрос к локальному API
У стандартного локального сервера Ollama используется адрес http://localhost:11434. Следующий пример обращается к нему, явно отключает потоковый формат и ограничивает учебную генерацию:
curl http://localhost:11434/api/generate \
-H 'Content-Type: application/json' \
-d '{
"model": "qwen2.5:1.5b",
"prompt": "Объясни локальный инференс одним предложением.",
"stream": false,
"options": {"temperature": 0, "num_predict": 80}
}'
Этот синтаксис предназначен для shell с обычными одинарными кавычками, например Bash. В PowerShell используйте curl.exe с корректным для вашей версии экранированием либо Python-пример ниже. Не смешивайте правила разных оболочек при диагностике API.
Поля и единицы времени описаны в документации Generate API. Проверяйте не только HTTP-статус, но и содержимое ответа. Генерация может завершиться по лимиту длины; для извлечения данных это способно оставить незавершённую структуру.
Подключение из Python без дополнительных библиотек
Сохраните код в local_ollama.py. Он использует стандартную библиотеку, задаёт тайм-аут и отключает применение proxy из переменных окружения для локального соединения:
import json
from urllib.request import Request, ProxyHandler, build_opener
payload = {
"model": "qwen2.5:1.5b",
"prompt": "Из текста 'Нужно 12 фильтров' назови только количество.",
"stream": False,
"options": {"temperature": 0, "num_predict": 40},
}
request = Request(
"http://127.0.0.1:11434/api/generate",
data=json.dumps(payload, ensure_ascii=False).encode("utf-8"),
headers={"Content-Type": "application/json"},
method="POST",
)
opener = build_opener(ProxyHandler({}))
with opener.open(request, timeout=120) as response:
result = json.load(response)
print(result["response"])
print("Причина завершения:", result.get("done_reason"))
Запуск: python3 local_ollama.py, а на Windows при соответствующей установке — py local_ollama.py. Число 120 в примере — выбранный тайм-аут клиента в секундах, а не обещание скорости. Если задача превышает его, разберите причину до автоматического увеличения.
Для производственного извлечения полей простой текстовый ответ недостаточен. Нужны контракт данных, проверка типов и обработка пропусков. Отдельная инструкция Ollama и JSON Schema показывает этот следующий шаг.
Как проверить использование GPU
Начните с ollama ps и журналов сервера. Дополнительно используйте средство наблюдения производителя ускорителя; для NVIDIA часто применяется nvidia-smi. Запишите используемую память и активность во время запроса, а не только до него.
Полное или частичное исполнение на CPU не обязательно означает поломку. Оно может быть связано с доступной памятью или выбранным backend. Важен ответ на вопрос, соответствует ли фактический маршрут вашим требованиям по задержке и мощности.
Совместимость проверяйте по официальной странице аппаратной поддержки Ollama. Не переносите требования другой видеокарты только из-за совпадения объёма VRAM. Драйвер, архитектура ускорителя и операционная система также входят в условия запуска.
Контекст, удержание модели и параллельные обращения
Контекст включает системную инструкцию, историю и текущие данные. Если приложение каждый раз отправляет весь большой архив, увеличение задержки может быть закономерным. Сначала сократите вход до нужного содержания и проверьте, сохраняется ли качество.
Настройка keep_alive управляет удержанием модели после запроса; она не хранит готовые ответы пользователя и не заменяет историю диалога приложения. Значение выбирают с учётом частоты обращений и других процессов, использующих память. Параметры описаны в Ollama FAQ.
Не открывайте параллельно десятки запросов только потому, что клиентская библиотека это позволяет. Сервер может поставить их в очередь, а память на активные последовательности будет зависеть от настроек. Для нескольких пользователей отдельно проведите нагрузочную проверку.
Как дать доступ другому приложению
Если приложение работает на том же компьютере, начинайте с loopback-адреса. Если оно находится в контейнере, localhost внутри контейнера указывает на сам контейнер, а не обязательно на хост Ollama. Схему соединения нужно настроить явно.
Для удалённого доступа сначала определите границу доверия. Сервис исполнения не следует просто публиковать в интернет. Используйте разрешённую частную сеть или защищённый шлюз с аутентификацией, лимитами и журналом доступа. Не меняйте адрес прослушивания на все интерфейсы как случайное «исправление» сетевой ошибки.
Если нужен общий чат сотрудников, прочитайте материал о LiteLLM и Open WebUI. Пользовательский интерфейс, контроль ключей и сама модель остаются разными компонентами.
Ошибки первого запуска
| Симптом | Что проверить | Следующее действие |
|---|---|---|
| Команда не найдена | Установку и PATH | Открыть новый терминал, проверить расположение программы |
| Сервер недоступен | Приложение, службу, порт | Проверить процесс, не запускать дубликат на том же порту |
| Модель не найдена | Точный тег и загрузку | Сверить каталог и ollama list |
| Памяти недостаточно | Размер модели, контекст, другие процессы | Начать с меньшей модели и одного короткого запроса |
| Первый ответ медленный | Загрузку в память и обработку входа | Сравнить метрики первого и повторного запроса |
| JSON не читается | Потоковый режим и длину выхода | Для учебного запроса установить stream: false, проверить причину завершения |
Не лечите все симптомы переустановкой. Сохраняйте сообщение ошибки, версию, тег модели и минимальный запрос. Для задержек есть отдельный разбор медленного первого ответа Ollama.
Чек-лист приёмки первого запуска
- Команда Ollama доступна и версия записана.
- Указан точный тег выбранной локальной модели.
- Короткий запрос завершается в терминале и через API.
- Адрес соединения соответствует ожидаемой машине.
- Размещение на CPU и GPU проверено фактически.
- Модель отвечает приемлемо на разрешённых рабочих примерах.
- Ошибки и тайм-ауты обрабатываются приложением.
- Сервис доступен только разрешённым клиентам.
Скопируйте этот список в протокол запуска и добавьте рядом дату, версию и результат каждого пункта. Он служит воспроизводимой проверкой установки, но не подтверждает готовность к массовой эксплуатации или обработке любого вида данных.
Механизмы, которые стоят за настройками сервера, разобраны в гиде по движкам и ускорению инференса. До выбора оборудования полезно пройти сравнение собственного инференса и API.
Частые вопросы
Нужен ли API-ключ для локального Ollama?
Для стандартного обращения к локальному серверу в этом примере ключ не используется. Для облачных сервисов и защищённого корпоративного шлюза условия другие; проверяйте конкретный маршрут.
Можно ли запустить модель без видеокарты?
Для поддерживаемых моделей возможен CPU-путь, но скорость и доступная память нужно проверить на своём оборудовании. Небольшой учебный запуск и многопользовательский сервис предъявляют разные требования.
Можно ли работать без интернета?
После подготовки программ, модели и зависимостей локальный маршрут может работать без внешней сети. Полную изоляцию подтверждают отдельно, включая интерфейс, обновления и дополнительные инструменты.
Достаточно ли установки для корпоративного запуска?
Нет. Дополнительно нужны доступ, оценка качества, ограничения нагрузки, наблюдаемость и владелец эксплуатации. Первый ответ проверяет только один небольшой участок системы.
Как AI студия Владимира Ломтева помогает запустить локальную модель
AI студия Владимира Ломтева может связать развёртывание LLM с подготовкой данных, проверкой качества и интеграцией с рабочим процессом. Для первого запуска это означает выбрать задачу, проверить допустимый вариант размещения и подключить модель к нужной системе с согласованными критериями тестирования.
Начните с одного процесса: какие данные поступают, что должно получаться и кто принимает результат. Обсудить задачу.
Что делать после первого ответа
Зафиксируйте рабочие версии, модель, параметры и минимальный запрос. Затем проверьте качество на своих данных и только после этого увеличивайте контекст и нагрузку. Если требуется обслуживание нескольких пользователей или сложное планирование, сравните Ollama с серверными движками на одинаковых условиях.






