Как хостить свою LLM: железо, стоимость и приватность
Своя языковая модель на своём сервере — это приватность данных, фиксированная цена и отсутствие лимитов. Разбираем, что для этого нужно из железа и софта и когда это выгоднее облачного API.
Запустить собственную LLM сегодня может почти любая компания — открытые модели Llama, Qwen и DeepSeek не уступают коммерческим API на большинстве задач. Главное преимущество своего сервера для LLM: данные никуда не уходят, вы не платите за токены и не упираетесь в лимиты.
Что нужно из железа
Ключевой компонент — видеокарта с достаточным объёмом памяти. Ориентир по размеру модели:
| Модель (размер) | VRAM: 4-bit / fp16 | Конфигурация |
|---|---|---|
| 7–8B — Llama 3 8B, Qwen2.5-7B | ~6–8 / ~16 ГБ | RTX 4090 (24 ГБ) |
| 14–32B — Qwen2.5-32B, DeepSeek 32B | ~12–20 / ~64 ГБ | RTX 4090 (4-bit) или 2×4090 |
| 70B — Llama 3 70B, Qwen2.5-72B | ~40–48 / ~140 ГБ | 2×RTX 4090 или A100 80 ГБ |
| 100B+ — DeepSeek-V3 и крупнее | 80+ ГБ | A100 / H100 |
Для большинства бизнес-задач хватает модели 14–32B на одной-двух RTX 4090 — это «сладкая точка» цена/качество.
Что нужно из софта
Поднять модель проще, чем кажется — есть готовые инференс-движки:
- Ollama — самый простой старт: одна команда, и модель работает с REST-API.
- vLLM — для нагрузки: быстрый батчинг запросов, подходит для продакшена.
- TGI (Text Generation Inference) — решение от Hugging Face под масштаб.
Мы подготавливаем сервер с драйверами NVIDIA, CUDA и нужным движком, помогаем поднять вашу модель и подключить приложение по API.
Развернём вашу LLM под ключ
Подберём GPU под модель, установим Ollama или vLLM и поможем подключить по API. Данные остаются в РФ.
Сколько это стоит против API
У облачных API оплата за токены: чем больше запросов, тем выше счёт, и потолка нет. Свой сервер — фиксированная цена в месяц независимо от числа запросов. Простое правило:
- Редкие запросы, эксперименты — дешевле облачный API.
- Постоянный поток (бот, обработка документов, внутренний ассистент) — свой сервер окупается и дальше экономит.
- Чувствительные данные — свой сервер вне конкуренции: ничего не уходит на сторону, это важно для 152-ФЗ.
С чего начать
- 1. Определите модель и режим (инференс или дообучение) — от этого зависит видеокарта.
- 2. Выберите конфигурацию: для старта обычно достаточно RTX 4090.
- 3. Мы развернём сервер, поднимем модель и отдадим готовый API.
Подробнее про требования к памяти — в статье какая видеокарта нужна для LLM, а про выбор между картами — в разборе A100 vs H100 vs RTX 4090.
Частые вопросы
Какие модели можно хостить у себя?
Любые открытые LLM: Llama 3, Qwen2.5, DeepSeek, Mistral и другие. Разворачиваем через Ollama, vLLM или ваш стек.
Насколько это дешевле облачного API?
При постоянной нагрузке заметно дешевле: вы платите фиксированную сумму за сервер вместо оплаты за каждый токен. Точку окупаемости посчитаем под ваш поток запросов.
Данные точно не уходят на сторону?
Да. Сервер физически в нашем дата-центре в Москве, модель и данные остаются в вашей инфраструктуре — важно для 152-ФЗ и коммерческой тайны.