A100 vs H100 vs RTX 4090: какую GPU брать под ML
Три самые популярные карты под ИИ решают разные задачи и стоят в разы по-разному. Разбираем, чем они отличаются на практике и в каком случае каждая — правильный выбор.
RTX 4090, A100 и H100 постоянно сравнивают, но выбирать между ними «по бенчмаркам» неправильно — это карты для разных задач. Сначала таблица, потом — когда что брать.
Сравнение по ключевым параметрам
| Параметр | RTX 4090 | A100 | H100 |
|---|---|---|---|
| Видеопамять | 24 ГБ GDDR6X | 80 ГБ HBM2e (ECC) | 80 ГБ HBM3 (ECC) |
| NVLink | нет | есть | есть |
| FP8 / Transformer Engine | нет | нет | да |
| Сильная сторона | цена/производительность | память и обучение | максимальная скорость |
| Ориентир цены | самая доступная | выше | максимальная |
Главные отличия — объём и тип памяти (ECC HBM у A100/H100 против GDDR6X у 4090), NVLink для объединения карт и аппаратное ускорение трансформеров (FP8) у H100.
RTX 4090 — когда брать
Оптимальна для инференса моделей до 32B, Stable Diffusion и рендеринга. 24 ГБ хватает большинству задач, а цена — самая доступная. Модели 70B тоже реально запустить на 2×4090 в квантизации. Для 80% бизнес-сценариев это правильный выбор — смотрите сервер с RTX 4090.
A100 — когда брать
80 ГБ памяти на одной карте с ECC и NVLink. Нужна там, где 24 ГБ уже мало: инференс 70B в полной точности, обучение и fine-tuning, объединение карт в 160 ГБ+. Рабочий стандарт для ML-команд — сервер с A100.
H100 — когда брать
Следующее поколение: FP8 и Transformer Engine дают кратный прирост на обучении и инференсе трансформеров. Берут под обучение крупных моделей и высоконагруженный инференс, где важна максимальная скорость на карту — сервер с H100.
Поможем выбрать под ваш проект
Опишите задачу — скажем честно, где хватит RTX 4090, а где нужна A100 или H100, и посчитаем цену.
Короткий вывод
- Запускаете готовые модели, генерите картинки, рендерите — RTX 4090.
- Нужно 80 ГБ, обучение, большие модели — A100.
- Нужна максимальная скорость обучения LLM — H100.
Не гонитесь за топовой картой «на всякий случай»: переплата за H100 там, где справится 4090, — самая частая ошибка. Начните с задачи — про подбор мы подробно писали в статье как выбрать GPU-сервер.
Частые вопросы
Чем A100 лучше RTX 4090?
A100 несёт 80 ГБ памяти с коррекцией ошибок против 24 ГБ у 4090, поддерживает NVLink и лучше подходит для обучения и крупных моделей. Но для инференса до 32B RTX 4090 выгоднее по цене.
Стоит ли переплачивать за H100?
H100 оправдана, когда важна максимальная скорость обучения и инференса крупных LLM (FP8, Transformer Engine). Для типовых задач хватает A100 или RTX 4090.
Можно запустить 70B без A100?
Да, 70B в 4-битной квантизации помещается на 2×RTX 4090 (48 ГБ) — это дешевле A100. В полной точности нужна A100/H100.