Локальная LLM для кодинга: своя модель на GPU-сервере
Своя модель для кода без облачных API и геоблока: какие LLM брать под программирование, сколько нужно VRAM и как подключить агента. Приватность и данные в РФ.
Зачем своя модель для кода
Локальная LLM для кодинга даёт три вещи, которых нет у облачных API: приватность (код не уходит наружу), фиксированную цену (нет оплаты за токены) и независимость от геоблока и лимитов. Для России это часто самый чистый путь: модель и данные остаются на вашем сервере в РФ.
Какие модели брать
Под кодинг хорошо себя показывают открытые модели:
- Qwen2.5-Coder (7B/14B/32B) — сильный универсальный кодер.
- DeepSeek-Coder — крупные модели под сложные задачи.
- Codestral и другие — по вкусу.
Сколько нужно VRAM
Главный ограничитель — видеопамять:
| Модель | VRAM (4-bit / fp16) | Видеокарта |
|---|---|---|
| 7B | ~6 / ~16 ГБ | RTX 4090 |
| 14B | ~10 / ~28 ГБ | RTX 4090 |
| 32B | ~20 / ~64 ГБ | RTX 4090 (4-bit) или 2×4090 |
| крупные | 40+ ГБ | A100 80 ГБ |
Подобрать конфигурацию поможет страница сервер для LLM на базе GPU-серверов.
Как поднять эндпоинт
Быстрый старт через Ollama:
curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen2.5-coder:14b
ollama serveДля нагрузки и максимальной скорости — vLLM (лучше батчит запросы). В обоих случаях получаете OpenAI-совместимый API на локальном адресе.
Как подключить агента
Пример для Cline (settings.json):
{
"cline.apiProvider": "openai",
"cline.openAiBaseUrl": "http://127.0.0.1:11434/v1",
"cline.openAiModelId": "qwen2.5-coder:14b",
"cline.openAiApiKey": "local"
}Аналогично настраиваются Aider и Continue — указываете локальный apiBase и модель.
Локальная или облачная
- Локальная модель 14–32B отлично справляется с рутиной, рефакторингом, тестами, работой по знакомому коду.
- Для самых сложных задач топовые облачные модели всё ещё сильнее.
- Отсюда гибрид: приватная рутина — локально, тяжёлое — в облаке через маршрут.
Итог
Своя LLM для кодинга — это приватность, предсказуемая цена и независимость от внешних API и геоблока. Порог входа ниже, чем кажется: для большинства задач хватает одной RTX 4090. Как это связать с рабочим окружением — в гайде сервер для Claude Code и AI-разработки.
Частые вопросы
Какая видеокарта нужна для локальной LLM под код?
Для моделей 7–14B достаточно RTX 4090 (24 ГБ), для 32B — 4090 в квантизации или 2×4090, для крупных — A100 80 ГБ.
Какие модели лучше для программирования?
Qwen2.5-Coder (7B/14B/32B) и DeepSeek-Coder — сильные открытые модели под кодинг. Подбираются под размер задачи и VRAM.
Как подключить агента к локальной модели?
Поднимаете OpenAI-совместимый эндпоинт (Ollama/vLLM) и указываете его адрес в настройках Aider, Cline или Continue.
Локальная модель заменит облачную?
Для рутины, рефакторинга и тестов — да. Для самых сложных задач топовые облачные модели пока сильнее, поэтому часто используют гибрид.
Остаются ли данные в России?
Да: модель и код на вашем сервере в дата-центре в РФ, наружу ничего не уходит — это важно для приватности и 152-ФЗ.