Mac mini на 16 ГБ или арендованный сервер: на чём запускать локальную LLM и агентов
Типичная история: взяли компактный компьютер «попробовать агентов», поставили Ollama с моделью на 8 млрд параметров, а в ответ получили минутные паузы и переполнение контекста. Это не ошибка настройки, это физика памяти. Разбираем, что реально можно запустить на 16 ГБ, а что требует видеокарты, и считаем, когда аренда сервера дешевле покупки железа.
Аренда GPU-сервераПришлите название модели — проверим, на каком GPU запустится и сколько стоит. Проверить GPUКуда уходят 16 гигабайт
На Mac память общая для процессора и графики, и ею же пользуется система и приложения. Из 16 ГБ модели достаётся в лучшем случае 10–11. Модель на 8 млрд параметров в 4-битном квантовании весит около 5 ГБ. Кажется, запас есть. Но дальше начинается контекст.
Общая память 16 ГБ: что её занимает
Агент не отправляет модели одну фразу. Он отправляет системный промпт, описание инструментов, историю диалога, содержимое файлов. Типичный запрос агента это 10–20 тысяч токенов, и для каждого токена контекста модель хранит KV-кэш. Для 8B-модели с контекстом 32 тысячи токенов это ещё 3–4 ГБ. В итоге память заканчивается, система начинает свопить на диск, и ответ на «привет» занимает минуту.
Вторая проблема: модели с режимом рассуждений. Они генерируют тысячи токенов «мыслей» до ответа, и на процессорных ядрах или встроенной графике это десятки секунд при любом объёме памяти.
Что реально тянет 16 ГБ
| Задача | Модель | Ощущения на 16 ГБ |
|---|---|---|
| Суммаризация текста, классификация, извлечение полей | 3–4B (Qwen3 4B, Gemma 3 4B) | быстро, работает стабильно |
| Чат с короткой историей, черновики писем | 7–8B в Q4 | приемлемо, если контекст до 8 тысяч токенов |
| Автодополнение кода в редакторе | 1.5–7B code-модели | работает, задержка заметна |
| Агент с инструментами (Claude Code, OpenClaw и аналоги) на локальной модели | любая | не хватает памяти под контекст, медленно, ошибки инструментов |
| Модель 14B и выше | - | не помещается с рабочим контекстом |
Вывод, который не нравится покупателям компактных компьютеров: 16 ГБ это машина для утилит на маленьких моделях, а не для агентов. Выключение режима рассуждений и квантование помогают на проценты, а не в разы.
Три рабочих варианта
Вариант 1: мозг в облаке, руки локально
Самый дешёвый и быстрый. Агент работает на Mac mini, но модель вызывается по API: Claude, DeepSeek, Qwen у российского или зарубежного провайдера. 16 ГБ более чем достаточно для самого агента, Docker и проекта. Локальная маленькая модель остаётся для задач, где данные нельзя отправлять наружу: прочитать почту, разобрать логи, суммаризировать переписку. Сколько стоят токены у разных провайдеров, посчитали в отдельной статье.
Вариант 2: домашний компьютер с 128 ГБ общей памяти
Мини-ПК на AMD Ryzen AI Max+ 395 с 128 ГБ или Mac Studio с большим объёмом памяти вмещают модели на 70B и даже разреженные модели на 100B+. Стоимость такого компьютера 250–400 тысяч рублей. Скорость генерации на больших моделях 5–15 токенов в секунду: для чата нормально, для агента, который генерирует тысячи токенов на каждый шаг, мучительно. Плюс это ваше электричество, шум и компьютер, который должен быть включён, когда агент работает ночью.
Вариант 3: арендованный сервер с GPU
Видеокарта с 24 ГБ собственной памяти и пропускной способностью в десять раз выше общей памяти Mac. На RTX 4090 модель 32B в Q4 выдаёт десятки токенов в секунду на один поток и сотни при пакетной обработке. Модель 8B на такой карте отвечает практически мгновенно даже с контекстом 32 тысячи токенов. Сервер стоит в дата-центре, работает круглосуточно, агент к нему подключается по API, а вы по SSH с любого устройства.
Сервер с одной RTX 4090, 16 ядрами, 128 ГБ RAM и 2 ТБ NVMe в нашем дата-центре в Москве стоит 44 900 ₽ в месяц. С двумя картами, если нужна модель 70B, 84 900 ₽.
Покупка или аренда: цифры
| Вариант | Разовые затраты | В месяц | Что тянет |
|---|---|---|---|
| Mac mini 16 ГБ | ≈ 90 000 ₽ | электричество | модели до 8B без агентов |
| Мини-ПК 128 ГБ | 250 000–400 000 ₽ | электричество, ≈ 1 500 ₽ | модели до 70B медленно |
| Своя RTX 4090 в домашнем ПК | ≈ 250 000 ₽ с системным блоком | электричество, ≈ 3 000 ₽ при круглосуточной работе | модели до 32B быстро |
| Аренда сервера с RTX 4090 | 0 | 44 900 ₽ (38 165 ₽ при годовом договоре) | модели до 32B быстро, круглосуточно, с поддержкой |
Аренда проигрывает покупке по деньгам на горизонте 6–9 месяцев, если карта нужна постоянно. Выигрывает, когда вы не уверены, что локальная модель вам вообще нужна, когда нужен тест на месяц-два, когда не хочется держать дома шумный компьютер и когда данные должны лежать в дата-центре с договором, а не на столе. Подробный расчёт в статье аренда или покупка сервера.
Разовые вложения против года аренды
Если всё-таки 16 ГБ
- Берите модели 3–4B для фоновых задач и 7–8B только для чата с коротким контекстом.
- Выключите режим рассуждений там, где он не нужен, и ограничьте контекст 8–16 тысячами токенов.
- Не запускайте агента с инструментами на локальной модели. Пусть агент ходит в API, а локальная модель обслуживает утилиты.
- Используйте квантование Q4_K_M, а не Q8: выигрыш в памяти вдвое при малозаметной потере качества.
- Закройте браузер и мессенджеры во время работы модели. Звучит смешно, но на общей памяти это даёт пару гигабайт.
Инструкция по установке и подключению моделей через Ollama есть в статье Ollama на своём сервере, выбор карты под размер модели в статье какая видеокарта нужна для LLM.
Частые вопросы
Можно ли запустить Qwen3 8B на Mac mini с 16 ГБ?
Запустить можно: модель в Q4 весит около 5 ГБ. Но с контекстом агента в 20–30 тысяч токенов память заканчивается, система свопит, и ответ занимает минуту. Для чата с коротким контекстом подходит, для агентов с инструментами нет.
Сколько памяти нужно под локальную LLM для агента?
Для комфортной работы агента на модели 8B нужно 16 ГБ только под модель и контекст, то есть 24 ГБ видеопамяти или 32 ГБ общей. Для моделей 32B нужны 24 ГБ видеопамяти, для 70B две карты или 64+ ГБ общей памяти.
Что лучше для локальной LLM: Mac с общей памятью или видеокарта?
Видеокарта в разы быстрее за счёт пропускной способности памяти: RTX 4090 выдаёт десятки токенов в секунду на 32B-модели. Mac с большой общей памятью вмещает более крупные модели, но генерирует медленно, 5–15 токенов в секунду на 70B.
Сколько стоит аренда сервера с RTX 4090 под LLM?
В дата-центре Friend IT в Москве сервер с одной RTX 4090, 16 ядрами, 128 ГБ RAM и 2 ТБ NVMe стоит 44 900 ₽ в месяц, при годовом договоре 38 165 ₽. С двумя картами 84 900 ₽.