Как запустить Ollama на своём сервере: модели, API и GPU

Ollama превратила запуск локальной языковой модели из инженерного проекта в одну команду. Вы ставите Ollama на сервер для LLM, скачиваете модель, и она сразу доступна по HTTP-API — как облачный сервис, только целиком на вашем железе. Ниже — практический разбор: установка, выбор модели под видеокарту, работа по API и вывод в продакшн.

Что такое Ollama и когда она нужна

Ollama — это обёртка над движком llama.cpp, которая берёт на себя всё рутинное: скачивание моделей, квантизацию, выгрузку слоёв на GPU, управление памятью и REST-API, совместимый с форматом OpenAI. Вам не нужно вручную собирать CUDA-окружение или подбирать параметры — достаточно указать имя модели.

Ollama выбирают, когда важно одно из трёх: приватность (данные и модель не покидают ваш сервер — критично для 152-ФЗ и коммерческой тайны), предсказуемая цена (фиксированная плата за сервер вместо оплаты за токены) и отсутствие зависимости от зарубежных API и их доступности. Всё работает в вашей инфраструктуре в российской юрисдикции.

Установка за одну команду

На чистом Linux-сервере (Ubuntu 22.04/24.04) установка выглядит так:

curl -fsSL https://ollama.com/install.sh | sh

Скрипт сам определит видеокарту, поставит нужные драйверы NVIDIA и запустит Ollama как системный сервис. Проверить, что всё поднялось:

ollama --version
systemctl status ollama

Дальше скачиваем и запускаем модель — например, Qwen2.5 на 7 миллиардов параметров:

ollama run qwen2.5:7b

Первый запуск скачает веса (несколько гигабайт), затем откроется интерактивный чат прямо в терминале. Всё — локальная LLM работает.

Какую модель выбрать под вашу видеокарту

Главное ограничение — объём видеопамяти (VRAM). Ollama по умолчанию использует 4-битную квантизацию, поэтому модели помещаются в память куда меньшую, чем в fp16. Ориентир:

«Сладкая точка» для бизнес-задач — модель 14–32B на одной RTX 4090. Для кодинга берут Qwen2.5-Coder, для рассуждений — DeepSeek. Если VRAM не хватает, Ollama выгрузит часть слоёв в оперативную память, но скорость упадёт.

Работа по API

Самое ценное — Ollama поднимает HTTP-сервер на порту 11434, и любое приложение может обращаться к модели по REST. Простой запрос на генерацию:

curl http://localhost:11434/api/generate -d '{
  "model": "qwen2.5:7b",
  "prompt": "Объясни, что такое TLS, в двух предложениях",
  "stream": false
}'

Есть и эндпоинт /v1/chat/completions, полностью совместимый с форматом OpenAI, — то есть существующий код и SDK, написанные под OpenAI, переключаются на локальную модель заменой одного адреса. Это подключает Ollama к чат-ботам, обработке документов, RAG-системам и внутренним ассистентам без переписывания логики.

GPU против CPU: на чём это реально работает

Ollama запускается и на процессоре, но для интерактивной работы нужен GPU. На CPU модель 7B выдаёт единицы токенов в секунду — годится для фоновой пакетной обработки, но не для чата или агента, где ответ ждут в реальном времени. На RTX 4090 та же модель отдаёт десятки токенов в секунду — ощущается как облачный сервис.

Практический вывод: под инференс с приемлемой скоростью планируйте GPU-сервер. Требования к памяти под конкретную модель мы разбирали в статье какая видеокарта нужна для LLM, а выбор между картами — в разборе A100 vs H100 vs RTX 4090.

Вывод в продакшн

Для боевого использования пары штрихов к настройке по умолчанию:

• Не открывайте порт 11434 наружу. По умолчанию у Ollama нет авторизации. Держите её за обратным прокси (nginx) с TLS и токеном, либо в приватной сети (Tailscale/WireGuard).
• Прогрев модели. Параметр OLLAMA_KEEP_ALIVE держит модель в памяти между запросами, чтобы не тратить секунды на повторную загрузку.
• Параллельные запросы. OLLAMA_NUM_PARALLEL и OLLAMA_MAX_LOADED_MODELS управляют одновременной нагрузкой — под многопользовательский сценарий настраиваются отдельно.
• Мониторинг. Следите за температурой и загрузкой GPU (nvidia-smi), чтобы карта не троттлила под постоянным потоком.

Под серьёзную продакшн-нагрузку с батчингом многие переходят с Ollama на vLLM — он быстрее обрабатывает параллельные запросы. Но для старта, внутренних инструментов и большинства задач Ollama полностью достаточно.

Где взять сервер под Ollama

Нужен сервер с GPU, полным root-доступом, свежими драйверами NVIDIA и белым IPv4. Friend IT даёт под это серверы для LLM и GPU-серверы (RTX 4090 / A100 / H100) в собственном дата-центре в Москве: подберём видеокарту под вашу модель, установим Ollama с драйверами, поможем поднять модель и подключить приложение по API. Код и данные остаются в РФ — без зарубежных облаков и внешних API. Начать можно с одной RTX 4090 и вырасти под нагрузку, не пересобирая инфраструктуру.