Локальная LLM на Mac: MLX, Ollama и LM Studio

локальная LLM на Mac
Ollama MLX Mac
LM Studio Mac
mlx-lm запуск модели
Локальная LLM на Mac: MLX, Ollama и LM Studio

Запустить локальную LLM на Mac с Apple silicon проще всего через Ollama или LM Studio, а для разработчиков есть mlx-lm. Ollama подходит для быстрого старта и API: начиная с версии 0.40.0 (25 сентября 2026 года) поддерживаемые модели на Apple silicon по умолчанию работают на MLX. LM Studio — графическое приложение с движками llama.cpp и MLX и локальным сервером. mlx-lm — Python-пакет Apple для генерации, своего сервера и дообучения. Какую модель можно запустить, определяет объём единой памяти: на 16 ГБ комфортно работают модели до 8–9 млрд параметров, на 32 ГБ — модели класса 27B в 4 битах, на 128 ГБ — gpt-oss-120b.

Материал подготовила AI студия Владимира Ломтева 17 ноября 2026 года. Версии программ и требования взяты из официальной документации и заметок о выпусках на эту дату. Сами мы на Mac тестов не проводили, поэтому все цифры скорости ниже принадлежат указанным источникам. Расчёты памяти показывают порядок величин.

Содержание

Что нужно: какой Mac и сколько памяти

Для всех трёх инструментов нужен Mac на Apple silicon (M1 и новее):

  • Ollama требует macOS Sonoma (14) или новее. На Intel-маках он работает только на процессоре.
  • LM Studio требует macOS 14.0 или новее и рекомендует от 16 ГБ памяти; Intel-маки не поддерживаются.
  • mlx-lm ускоряет большие модели, закрепляя их в памяти, только на macOS 15 и новее.

У Mac нет отдельной видеопамяти: процессор и графическое ядро делят единую память. Поэтому главный вопрос при выборе — сколько памяти останется под модель после системы и открытых программ. Вес модели в 4-битном квантовании примерно равен половине числа параметров в гигабайтах плюс служебные данные. К нему добавляется KV-кэш, который растёт с длиной контекста. Подробно расчёт разобран в статье «Сколько VRAM нужно для LLM».

Память Mac Что реально запустить Откуда цифра
16 ГБ Модели 4–9 млрд параметров в 4 битах (около 3–6 ГБ весов) Расчёт: параметры × ~0,5–0,6 байта
32 ГБ Qwen3.8-27B в 4 битах, около 17,6 ГБ Таблица рекомендованных моделей Framework, квант UD-Q4_K_XL
64 ГБ MoE-модели около 120 млрд параметров в 3 битах (Qwen3.5-122B-A10B Q3_K_S — 52,5 ГБ) Та же таблица Framework; на Mac запас по памяти минимален
128 ГБ gpt-oss-120b (файл около 64 ГБ), Qwen3.5-122B-A10B в 4 битах (пик 72–76 ГБ) Замеры на MacBook Pro M5 Max, Hardware Corner
256–512 ГБ Qwen3.8 Flash-Next в 4 битах (пик процесса 155 ГБ), GLM-5.3-Flash Обзор Mac Studio M5 Ultra 256 ГБ, MacStories

Если вы только выбираете компьютер, ориентируйтесь на модель, которая решает вашу задачу, а не наоборот. Как подобрать модель под класс железа, мы разбирали в обзоре «Какую модель выбрать для локального инференса». Сравнение Mac Studio с DGX Spark и мини-ПК на AMD Strix Halo — в отдельном материале нашей серии о локальном железе.

MLX, GGUF и Metal: в чём разница

На Mac языковые модели запускают двумя основными стеками.

MLX — фреймворк машинного обучения Apple для Apple silicon. Модели для него хранятся в формате safetensors с квантованием MLX; тысячи готовых конвертаций лежат в организации mlx-community на Hugging Face. Поверх MLX работают mlx-lm, движок MLX в LM Studio и, с 2026 года, основной путь инференса в Ollama.

llama.cpp с бэкендом Metal использует формат GGUF. Это самый распространённый формат открытых моделей: почти любую модель с Hugging Face можно найти в GGUF в разных степенях квантования. Как квантуют и выбирают GGUF-файлы, мы описывали в статье о квантовании на практике.

Чем MLX лучше на новых чипах. В чипах M5, M5 Pro и M5 Max в каждое графическое ядро встроены нейроускорители (Neural Accelerators). По словам Ollama, движок на MLX использует их, чтобы сократить время до первого токена и ускорить генерацию. Apple в пресс-релизе Mac Studio заявляет, что обработка промпта в LM Studio на M5 Max до 3,9 раза быстрее, чем на M4 Max. Это данные Apple, а не независимый тест.

Практический вывод: если модель есть в MLX-формате и ваш инструмент его поддерживает, начните с MLX. GGUF и llama.cpp оставьте для моделей и квантов, которых в MLX нет, или когда нужен одинаковый стек на Mac и Linux-сервере.

Ollama на Mac: быстрый старт и API

Ollama — самый короткий путь от установки до работающего API. Установка — образ ollama.dmg с сайта проекта, приложение переносится в «Программы» и при первом запуске добавляет команду ollama в PATH.

Что изменилось в 2026 году:

  • 30 марта вышла предварительная версия 0.19 с MLX-движком для Apple silicon. Тогда для него требовался Mac с памятью больше 32 ГБ (блог Ollama).
  • 13 мая, в версии 0.30.0, обновлён движок llama.cpp: он дополняет MLX и даёт поддержку GGUF-моделей с Hugging Face и собственных дообученных моделей.
  • 25 сентября, в версии 0.40.0, модели с архитектурами, которые поддерживает MLX, стали по умолчанию запускаться на MLX. Среди них qwen3.8, gemma4, qwen3.6, qwen3.5 и модель эмбеддингов embeddinggemma-2.
  • 9 ноября, в версии 0.40.16, Qwen3.8 Flash Next стала занимать на Apple silicon примерно на 27 ГиБ меньше памяти.
  • 10 ноября в предварительной версии 0.40.17-rc1 появилась параллельная генерация на MLX. До стабильного выпуска рассчитывать на неё в работе не стоит.

Базовые команды:

ollama pull qwen3.8
ollama run qwen3.8
ollama ps
curl http://localhost:11434/api/chat -d '{"model": "qwen3.8", "messages": [{"role": "user", "content": "Кратко: что такое KV-кэш?"}], "stream": false}'

По умолчанию сервер слушает 127.0.0.1:11434, а модель остаётся в памяти 5 минут после последнего запроса (FAQ Ollama). Чтобы открыть доступ из локальной сети, задайте переменную окружения через launchctl и перезапустите приложение:

launchctl setenv OLLAMA_HOST "0.0.0.0:11434"

У Ollama нет встроенной авторизации. Открывать порт в сеть без обратного прокси с проверкой доступа нельзя. Логи лежат в ~/.ollama/logs.

На что обратить внимание при обновлении. С версии 0.40.14 (3 ноября) OpenAI-совместимые эндпоинты больше не подставляют temperature и top_p равными 1.0, если клиент их не передал: берутся значения из пакета модели, как в /api/chat. Если после обновления ответы через OpenAI API изменились, задайте параметры выборки в запросе явно. Пошаговая установка и настройка Ollama — в нашей инструкции по Ollama.

LM Studio: графический интерфейс и выбор движка

LM Studio подходит тем, кто хочет выбирать модели, кванты и параметры загрузки без командной строки. В приложении два основных движка: llama.cpp для GGUF и MLX для моделей в формате MLX. На странице загрузки модели видно, в каком формате она скачивается.

Актуальное состояние по журналу изменений:

  • последняя версия — 0.4.28 от 31 октября 2026 года;
  • в 0.4.25 (19 сентября) на Mac появился движок Splash для Apple silicon M3 и новее на macOS 26.4 и новее; в 0.4.27 для моделей Splash добавлены ограничение максимальной памяти и настройка Neural Engine Prefill;
  • в 0.4.22 (28 августа) добавлены вспомогательные модели для спекулятивного декодирования: DFlash, DSpark и MTP. Как работает этот приём, мы разбирали в статье о спекулятивном декодировании.

Рядом с LM Studio компания выпускает Bionic — агентное приложение с локальными моделями и опциональным облачным инференсом. Бесплатный план, по странице цен, включает запуск локальных моделей на llama.cpp и MLX. Если данные нельзя отправлять наружу, проверьте, что в чате выбрана локальная модель, а не облачная.

LM Studio умеет работать как сервер. Его можно включить на вкладке Developer или командой lms, которая ставится вместе с приложением (документация lms):

lms ls
lms server start
lms ps
curl http://localhost:1234/v1/models

В примерах документации сервер работает на порту 1234 с OpenAI-совместимыми эндпоинтами /v1/chat/completions, /v1/responses и /v1/embeddings (OpenAI-совместимость). Порт меняется в настройках сервера, там же включаются обязательная авторизация по токену и доступ из локальной сети (настройки сервера). Для нескольких пользователей в документации описан параметр Max Concurrent Predictions с непрерывным батчингом; в описании функции он указан для движка llama.cpp, поэтому для MLX-моделей проверьте поддержку в своей версии.

mlx-lm: для разработчиков и дообучения

mlx-lm — Python-пакет Apple для генерации текста и дообучения моделей на MLX. Он нужен, когда модель встраивают в свой код, запускают свежую модель из mlx-community раньше, чем она появится в Ollama, или дообучают LoRA-адаптер прямо на Mac.

Версии на 17 ноября 2026 года по PyPI: mlx 0.32.4 (14 октября), mlx-lm 0.32.2 (16 октября), mlx-vlm для моделей с изображениями — 0.8.0 (16 ноября). Для mlx-lm нужен Python 3.11 или новее.

python3 -m venv ~/mlx-env
source ~/mlx-env/bin/activate
pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Объясни, что такое RAG, в трёх предложениях"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

Встроенный сервер повторяет API чата OpenAI и по умолчанию слушает localhost:8080:

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"messages": [{"role": "user", "content": "Проверка связи"}], "max_tokens": 64}'

Авторы прямо пишут в описании сервера, что он не рекомендуется для продакшена: в нём только базовые проверки безопасности. Для экономии памяти на длинном контексте есть флаг --kv-bits, но с квантованным KV-кэшем сервер обрабатывает запросы по одному. По умолчанию ответ ограничен 512 токенами (max_tokens).

Если модель почти целиком занимает память и mlx-lm пишет предупреждение о медленной генерации, README советует поднять системный лимит закреплённой памяти:

sudo sysctl iogpu.wired_limit_mb=100000

Значение задаётся в мегабайтах. Оно должно быть больше размера модели, но меньше объёма памяти Mac: пример выше рассчитан на модель около 90 ГБ на Mac со 128 ГБ.

llama.cpp и llama-server на Mac

llama.cpp поддерживает Metal из коробки и работает с любыми GGUF-файлами. Его выбирают, когда нужна та же конфигурация, что и на Linux-сервере с NVIDIA, или когда нужен квант, которого нет в MLX. Сервер llama-server из llama.cpp 1.0 даёт OpenAI-совместимый API, слоты для параллельных запросов и настройку KV-кэша; запуск подробно разобран в статье «llama-server из llama.cpp 1.0». Сравнение llama.cpp с vLLM, SGLang и Ollama по задачам — в материале о движках инференса.

Ollama, LM Studio или mlx-lm: сравнение

Критерий Ollama LM Studio mlx-lm
Интерфейс Командная строка, API, простое приложение Графическое приложение и CLI lms Python и командная строка
Движки на Mac MLX по умолчанию для поддерживаемых архитектур, llama.cpp для остальных llama.cpp (GGUF), MLX, Splash MLX
Порт API по умолчанию 11434 1234 в примерах документации, меняется в настройках 8080
Авторизация API Нет, нужен прокси Есть токен в настройках сервера Базовые проверки, не для продакшена
Несколько запросов сразу Параллельная генерация на MLX пока в rc-версии Max Concurrent Predictions для llama.cpp Батч-генерация через Python API
Дообучение Нет Нет LoRA и полное дообучение
Кому подходит Разработчикам приложений и агентов Тем, кто подбирает модели вручную Разработчикам ML и исследователям

Скорость: чего ждать от Mac

Скорость генерации на Mac ограничивает в первую очередь пропускная способность памяти: у M5 Max до 614 ГБ/с, у M5 Ultra 1,2 ТБ/с (Apple). Скорость чтения промпта (prefill) зависит от вычислительной мощности графического ядра, и на чипах M5 она заметно выросла.

Опубликованные замеры:

  • Ollama 0.19 против 0.18, Qwen3.5-35B-A3B (блог Ollama, 29 марта 2026 года, железо в публикации не названо): prefill 1810 токенов/с против 1154, генерация 112 токенов/с против 58. Сравнивались разные кванты: NVFP4 на MLX и Q4_K_M на llama.cpp.
  • MacBook Pro M5 Max, 128 ГБ, mlx_lm, gpt-oss-120b (замеры пользователя r/LocalLLaMA, опубликованы Hardware Corner 11 марта 2026 года): при контексте 4K — prefill 1325 и генерация 87,9 токена/с; при 32K — 2537 и 64,5 токена/с.
  • Mac Studio M5 Ultra, 256 ГБ, oMLX, Qwen3.8 Flash-Next в 4 битах (MacStories, сентябрь 2026 года): промпт 16K читался со скоростью 2887 токенов/с против 1143 на M3 Ultra, генерация — 52 токена/с против 37.

По этим данным видно две вещи. Скорость падает с ростом контекста, поэтому проверяйте модель на промптах своей длины. А при одновременной работе нескольких пользователей Mac прибавляет немного: в тесте MacStories три параллельных запроса дали суммарно 81,5 токена/с против 66,2 для одного запроса. Для чата одного-трёх человек этого достаточно. Для отдела с агентами, которые шлют десятки запросов параллельно, лучше подходят серверные движки вроде vLLM на GPU NVIDIA.

Mac как сервер для команды

Mac Studio часто ставят как небольшой сервер для отдела: он тихий и занимает мало места. Чтобы такая схема работала надёжно:

  1. Выделите отдельную учётную запись и запретите сон в настройках энергосбережения, иначе API пропадёт ночью.
  2. Слушайте сеть только через обратный прокси с авторизацией или включите токен в LM Studio. Ollama и mlx_lm.server без защиты в сеть не открывайте.
  3. Зафиксируйте версии Ollama или LM Studio и модели. Обновление движка может изменить параметры выборки и ответы, как это было с Ollama 0.40.14.
  4. Измерьте нагрузку заранее: сколько пользователей, какая длина промптов, какое время ответа приемлемо. Методика — в статье о нагрузочном тесте локальной LLM.
  5. Если сервер должен работать без доступа в интернет, заранее скачайте модели и отключите облачные функции. Подробнее — в статье о LLM в закрытом контуре.

Частые проблемы

Модель работает очень медленно. Скорее всего, она не помещается в доступную память и система уходит в своп. Возьмите квант поменьше или модель меньше, закройте тяжёлые программы. Для mlx-lm проверьте предупреждение о памяти и лимит iogpu.wired_limit_mb.

Первый ответ приходит долго. Модель загружается с диска, а длинный промпт обрабатывается целиком. В Ollama модель выгружается через 5 минут простоя; увеличьте keep_alive. Подробный разбор — в статье о медленном первом ответе Ollama.

Не хватает контекста. Длинный контекст увеличивает KV-кэш. Уменьшите контекстное окно в настройках загрузки или используйте квантование KV-кэша, если инструмент его поддерживает.

Ответы через OpenAI API изменились после обновления. Задайте temperature и top_p в запросе явно: с Ollama 0.40.14 значения по умолчанию берутся из модели.

Частые вопросы

Что выбрать новичку: Ollama или LM Studio? Если нужен API для своего приложения или агента — Ollama. Если хочется перебирать модели и настройки в графическом интерфейсе — LM Studio. Оба бесплатны для запуска локальных моделей.

Хватит ли MacBook Air на 16 ГБ? Для моделей до 8–9 млрд параметров в 4 битах — да: черновики, перевод, классификация, короткие документы. Для моделей класса 27B нужно от 32 ГБ.

MLX всегда быстрее llama.cpp? Не всегда. На чипах M5 MLX использует нейроускорители графических ядер, и в тесте Ollama генерация выросла почти вдвое. Но результат зависит от модели и кванта, поэтому сравните оба варианта на своей задаче.

Можно ли дообучить модель на Mac? Да, mlx-lm поддерживает LoRA и полное дообучение, в том числе квантованных моделей. Для больших моделей и больших датасетов удобнее арендовать GPU.

Можно ли объединить несколько Mac? Apple заявляет кластеризацию Mac Studio через Thunderbolt 5 с RDMA: по данным компании, четыре Mac Studio дают до трёх раз более быстрый инференс, чем один. mlx-lm поддерживает распределённый инференс через mx.distributed.

Как AI студия Владимира Ломтева помогает запустить LLM на Mac

AI студия Владимира Ломтева разворачивает и дообучает LLM на собственном оборудовании компаний. Для локальной модели на Mac это означает:

  • подобрать модель и квант под объём памяти вашего Mac и задачу;
  • настроить Ollama, LM Studio или mlx-lm как сервер с авторизацией и подключить его к вашим приложениям;
  • проверить качество ответов и скорость на ваших документах и реальной нагрузке;
  • при необходимости дообучить модель на данных компании и обучить сотрудников работе с ней.

Первый шаг — выбрать один процесс, для которого нужна локальная модель, описать имеющиеся Mac и их память, собрать типичные запросы и критерий приёмки ответа. Обсудить задачу

Итог: начните с Ollama или LM Studio, переходите к mlx-lm по необходимости

Для большинства задач на Mac хватает Ollama или LM Studio: оба используют MLX и дают локальный API. mlx-lm нужен, когда модель встраивают в свой код, запускают раньше, чем она появится в готовых приложениях, или дообучают. Модель выбирайте по объёму памяти с запасом под контекст, скорость проверяйте на своих промптах, а API в сеть открывайте только с авторизацией.

Оставить заявку

Заполните форму и мы свяжемся с вами

← Все статьи

Комментарии (0)

Пока нет комментариев. Будьте первым!

Оставить комментарий
Регистрация не требуется