Локальная LLM через Ollama: установка, запуск и API

локальная LLM Ollama
локальная LLM Ollama инструкция
локальный инференс LLM
Локальная LLM через Ollama: установка, запуск и API

Чтобы запустить локальную LLM через Ollama, установите приложение, загрузите локальный вариант модели и проверьте ответ через терминал или API. Для первого запуска нужна небольшая модель и короткий запрос: так проще отделить проблемы установки от нехватки памяти. После этого проверяют использование GPU, качество на своей задаче и доступ приложения к серверу.

Инструкцию подготовила AI студия Владимира Ломтева 14 ноября 2026 года для разработчиков и ИТ-специалистов, начинающих локальный запуск. Команды основаны на документации Ollama; собственный аппаратный тест в рамках материала не выполнялся. Пример использует текстовую Qwen2.5 1.5B как небольшой учебный артефакт, а не рекомендацию лучшей модели для бизнеса. Обучение и высоконагруженный кластер в инструкцию не входят.

Содержание

Что подготовить перед установкой

Ollama управляет загрузкой и запуском моделей и предоставляет программный интерфейс. Вы можете начать с диалога в терминале, затем подключить тот же сервер к приложению. Локальное исполнение означает, что вычисления модели выполняются на вашем компьютере или сервере; загрузка самих файлов первоначально требует доступа к источнику.

В текущей экосистеме Ollama есть и облачные возможности, поэтому слово Ollama само по себе не доказывает локальность выбранного маршрута. Перед работой с внутренними документами проверьте конкретную модель, адрес API и сетевые обращения. Официальный quickstart отдельно описывает локальный и облачный способы использования.

Запишите операционную систему, объём RAM, доступную VRAM, свободное место на диске и наличие подходящего GPU. Память файла весов — лишь часть требований. Контекст, промежуточные данные и параллельные обращения увеличивают расход ресурсов. Не начинайте с максимально доступного размера модели: первый успешный ответ должен проверить именно установку.

Как выбрать модель для первого запуска

Для учебного примера используется существующий тег qwen2.5:1.5b в каталоге Ollama. Его задача — дать компактный понятный маршрут. На рабочем процессе модель выбирают заново по качеству, лицензии, размеру и поддержке нужных функций.

Не выбирайте только по числу параметров. Для извлечения полей важны точность и формат ответа, для базы знаний — работа с предоставленным контекстом, для агента — поддержка инструментов и устойчивость многошагового исполнения. Требуемую функцию нужно проверить на конкретном варианте модели, а не на названии семейства.

Полезно сначала подготовить несколько разрешённых примеров: простой вопрос, текст с отсутствующим полем, неоднозначную заявку и запрос с явным запретом придумывать данные. Такой набор не заменяет полноценную приёмку, но помогает заметить очевидное несоответствие ещё до интеграции.

Установка на Windows, macOS и Linux

На Windows и macOS начните с официальной страницы загрузки Ollama и установщика для своей системы. После установки откройте приложение и новый терминал. На Linux используйте актуальную инструкцию проекта: способ установки и настройки службы зависит от среды.

Для Linux можно сначала скачать официальный скрипт в файл и прочитать его, вместо немедленного исполнения из сети:

curl -fsSL https://ollama.com/install.sh -o ollama-install.sh
less ollama-install.sh
sh ollama-install.sh

Последняя команда устанавливает программное обеспечение и может запрашивать системные права. Выполняйте её только в предназначенной для этого среде. В закрытом контуре установка через внешнюю сеть не подходит: там нужен заранее подготовленный выпуск с зависимостями.

Проверьте доступность команды:

ollama --version

Если команда не найдена, перезапустите терминал и проверьте завершение установки. Ошибка PATH отличается от ошибки сервера: в первом случае система не находит программу, во втором клиент найден, но не может связаться с процессом исполнения.

Загрузка и первый диалог

Загрузите учебную модель и запустите диалог:

ollama pull qwen2.5:1.5b
ollama run qwen2.5:1.5b

Задайте короткий запрос, например: «Объясни одним предложением, что такое локальный инференс». Первоначальный запуск может включать загрузку модели в память. Для оценки обычного отклика отправьте следующий запрос после первого завершения.

Посмотреть загруженные на диск модели и работающие в памяти экземпляры можно отдельно:

ollama list
ollama ps

Это разные проверки. Наличие модели в списке файлов не означает, что она сейчас занимает память GPU. И наоборот, завершение диалога не обязательно немедленно освобождает все ресурсы: поведение удержания регулируется настройками сервера и запросов.

Если клиент сообщает, что сервер недоступен, сначала запустите установленное приложение или соответствующую службу. Для ручного foreground-запуска используется ollama serve; не запускайте второй экземпляр на уже занятом порту.

Первый запрос к локальному API

У стандартного локального сервера Ollama используется адрес http://localhost:11434. Следующий пример обращается к нему, явно отключает потоковый формат и ограничивает учебную генерацию:

curl http://localhost:11434/api/generate \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "qwen2.5:1.5b",
    "prompt": "Объясни локальный инференс одним предложением.",
    "stream": false,
    "options": {"temperature": 0, "num_predict": 80}
  }'

Этот синтаксис предназначен для shell с обычными одинарными кавычками, например Bash. В PowerShell используйте curl.exe с корректным для вашей версии экранированием либо Python-пример ниже. Не смешивайте правила разных оболочек при диагностике API.

Поля и единицы времени описаны в документации Generate API. Проверяйте не только HTTP-статус, но и содержимое ответа. Генерация может завершиться по лимиту длины; для извлечения данных это способно оставить незавершённую структуру.

Подключение из Python без дополнительных библиотек

Сохраните код в local_ollama.py. Он использует стандартную библиотеку, задаёт тайм-аут и отключает применение proxy из переменных окружения для локального соединения:

import json
from urllib.request import Request, ProxyHandler, build_opener

payload = {
    "model": "qwen2.5:1.5b",
    "prompt": "Из текста 'Нужно 12 фильтров' назови только количество.",
    "stream": False,
    "options": {"temperature": 0, "num_predict": 40},
}
request = Request(
    "http://127.0.0.1:11434/api/generate",
    data=json.dumps(payload, ensure_ascii=False).encode("utf-8"),
    headers={"Content-Type": "application/json"},
    method="POST",
)
opener = build_opener(ProxyHandler({}))
with opener.open(request, timeout=120) as response:
    result = json.load(response)
print(result["response"])
print("Причина завершения:", result.get("done_reason"))

Запуск: python3 local_ollama.py, а на Windows при соответствующей установке — py local_ollama.py. Число 120 в примере — выбранный тайм-аут клиента в секундах, а не обещание скорости. Если задача превышает его, разберите причину до автоматического увеличения.

Для производственного извлечения полей простой текстовый ответ недостаточен. Нужны контракт данных, проверка типов и обработка пропусков. Отдельная инструкция Ollama и JSON Schema показывает этот следующий шаг.

Как проверить использование GPU

Начните с ollama ps и журналов сервера. Дополнительно используйте средство наблюдения производителя ускорителя; для NVIDIA часто применяется nvidia-smi. Запишите используемую память и активность во время запроса, а не только до него.

Полное или частичное исполнение на CPU не обязательно означает поломку. Оно может быть связано с доступной памятью или выбранным backend. Важен ответ на вопрос, соответствует ли фактический маршрут вашим требованиям по задержке и мощности.

Совместимость проверяйте по официальной странице аппаратной поддержки Ollama. Не переносите требования другой видеокарты только из-за совпадения объёма VRAM. Драйвер, архитектура ускорителя и операционная система также входят в условия запуска.

Контекст, удержание модели и параллельные обращения

Контекст включает системную инструкцию, историю и текущие данные. Если приложение каждый раз отправляет весь большой архив, увеличение задержки может быть закономерным. Сначала сократите вход до нужного содержания и проверьте, сохраняется ли качество.

Настройка keep_alive управляет удержанием модели после запроса; она не хранит готовые ответы пользователя и не заменяет историю диалога приложения. Значение выбирают с учётом частоты обращений и других процессов, использующих память. Параметры описаны в Ollama FAQ.

Не открывайте параллельно десятки запросов только потому, что клиентская библиотека это позволяет. Сервер может поставить их в очередь, а память на активные последовательности будет зависеть от настроек. Для нескольких пользователей отдельно проведите нагрузочную проверку.

Как дать доступ другому приложению

Если приложение работает на том же компьютере, начинайте с loopback-адреса. Если оно находится в контейнере, localhost внутри контейнера указывает на сам контейнер, а не обязательно на хост Ollama. Схему соединения нужно настроить явно.

Для удалённого доступа сначала определите границу доверия. Сервис исполнения не следует просто публиковать в интернет. Используйте разрешённую частную сеть или защищённый шлюз с аутентификацией, лимитами и журналом доступа. Не меняйте адрес прослушивания на все интерфейсы как случайное «исправление» сетевой ошибки.

Если нужен общий чат сотрудников, прочитайте материал о LiteLLM и Open WebUI. Пользовательский интерфейс, контроль ключей и сама модель остаются разными компонентами.

Ошибки первого запуска

Симптом Что проверить Следующее действие
Команда не найдена Установку и PATH Открыть новый терминал, проверить расположение программы
Сервер недоступен Приложение, службу, порт Проверить процесс, не запускать дубликат на том же порту
Модель не найдена Точный тег и загрузку Сверить каталог и ollama list
Памяти недостаточно Размер модели, контекст, другие процессы Начать с меньшей модели и одного короткого запроса
Первый ответ медленный Загрузку в память и обработку входа Сравнить метрики первого и повторного запроса
JSON не читается Потоковый режим и длину выхода Для учебного запроса установить stream: false, проверить причину завершения

Не лечите все симптомы переустановкой. Сохраняйте сообщение ошибки, версию, тег модели и минимальный запрос. Для задержек есть отдельный разбор медленного первого ответа Ollama.

Чек-лист приёмки первого запуска

  • Команда Ollama доступна и версия записана.
  • Указан точный тег выбранной локальной модели.
  • Короткий запрос завершается в терминале и через API.
  • Адрес соединения соответствует ожидаемой машине.
  • Размещение на CPU и GPU проверено фактически.
  • Модель отвечает приемлемо на разрешённых рабочих примерах.
  • Ошибки и тайм-ауты обрабатываются приложением.
  • Сервис доступен только разрешённым клиентам.

Скопируйте этот список в протокол запуска и добавьте рядом дату, версию и результат каждого пункта. Он служит воспроизводимой проверкой установки, но не подтверждает готовность к массовой эксплуатации или обработке любого вида данных.

Механизмы, которые стоят за настройками сервера, разобраны в гиде по движкам и ускорению инференса. До выбора оборудования полезно пройти сравнение собственного инференса и API.

Частые вопросы

Нужен ли API-ключ для локального Ollama?

Для стандартного обращения к локальному серверу в этом примере ключ не используется. Для облачных сервисов и защищённого корпоративного шлюза условия другие; проверяйте конкретный маршрут.

Можно ли запустить модель без видеокарты?

Для поддерживаемых моделей возможен CPU-путь, но скорость и доступная память нужно проверить на своём оборудовании. Небольшой учебный запуск и многопользовательский сервис предъявляют разные требования.

Можно ли работать без интернета?

После подготовки программ, модели и зависимостей локальный маршрут может работать без внешней сети. Полную изоляцию подтверждают отдельно, включая интерфейс, обновления и дополнительные инструменты.

Достаточно ли установки для корпоративного запуска?

Нет. Дополнительно нужны доступ, оценка качества, ограничения нагрузки, наблюдаемость и владелец эксплуатации. Первый ответ проверяет только один небольшой участок системы.

Как AI студия Владимира Ломтева помогает запустить локальную модель

AI студия Владимира Ломтева может связать развёртывание LLM с подготовкой данных, проверкой качества и интеграцией с рабочим процессом. Для первого запуска это означает выбрать задачу, проверить допустимый вариант размещения и подключить модель к нужной системе с согласованными критериями тестирования.

Начните с одного процесса: какие данные поступают, что должно получаться и кто принимает результат. Обсудить задачу.

Что делать после первого ответа

Зафиксируйте рабочие версии, модель, параметры и минимальный запрос. Затем проверьте качество на своих данных и только после этого увеличивайте контекст и нагрузку. Если требуется обслуживание нескольких пользователей или сложное планирование, сравните Ollama с серверными движками на одинаковых условиях.

Оставить заявку

Заполните форму и мы свяжемся с вами

← Все статьи

Комментарии (0)

Пока нет комментариев. Будьте первым!

Оставить комментарий
Регистрация не требуется