AI-сервер против обычного сервера: чем на самом деле отличается инфраструктура для ИИ

Добро пожаловать в мир, где обычные серверные истины перестают работать, а интуиция подводит даже опытных инженеров. Если вы когда-нибудь смотрели на прайс AI-сервера, видели цифру с шестью нулями и думали: «Да это же просто сервер с видеокартами, я соберу сам за треть цены» — эта статья для вас. Потому что сейчас мы разберём, почему эта мысль одновременно логична и ошибочна, и что именно стоит за словами «оптимизировано для AI-нагрузок».

Поехали без лирики, сразу к делам.

Когда вы слышите «AI-сервер», первая мысль простая: взять обычный rack-сервер, воткнуть туда восемь видеокарт NVIDIA — и готово. По логике это должно работать. GPU есть, память есть, процессор координирует — что ещё нужно?

Проблема в том, что эта логика работает ровно до момента, когда вы запускаете первую реальную нагрузку. Модель на 70 миллиардов параметров, распределённая между восемью GPU, начинает работать медленнее, чем на четырёх правильно соединённых картах. Или того хуже — сервер просто зависает через десять минут обучения, потому что GPU перегреваются и уходят в thermal throttling. Или вы обнаруживаете, что ваша инфраструктура жрёт в полтора раза больше электричества, чем планировалось, и выдаёт вдвое меньше производительности.

Вот тут и начинается настоящий разговор о том, что значит «специализированная инфраструктура».

Стандартный сервер общего назначения соединяет GPU через PCIe. Это логично: PCIe — универсальный интерфейс, все его используют, пропускная способность вроде бы приличная. PCIe 4.0 x16 даёт 32 ГБ/с в обе стороны. Звучит солидно.

А теперь вспомните, что происходит при обучении или инференсе большой модели. Каждый GPU обрабатывает свой кусок данных, но постоянно должен обмениваться промежуточными результатами с другими GPU — это называется gradient synchronization при обучении и активации при инференсе. И вот тут тридцать два гигабайта в секунду превращаются в тонкую трубочку, через которую восемь мощных ускорителей пытаются протолкнуть терабайты данных.

Результат предсказуем: GPU простаивают. Они уже посчитали свою часть работы и ждут, пока данные доберутся от соседа. Вы купили восемь топовых ускорителей, а реально работают они процентов на сорок от своих возможностей — остальное время они сидят в очереди на обмен данными.

AI-сервер решает это в лоб: вместо PCIe используется NVLink или InfiniBand. NVLink — это прямое высокоскоростное соединение между GPU, которое даёт 600 ГБ/с и выше между парами карт (в зависимости от поколения). Почти в двадцать раз быстрее PCIe. Вот почему кластер из четырёх H100 с правильной топологией NVLink обгоняет восемь A100 на PCIe — данные просто успевают доехать вовремя.

Хотите узнать, какая конфигурация интерконнекта подходит именно под вашу задачу? На ltrade.su помогут подобрать топологию под конкретную модель и batch size — без переплаты за избыточную связность и без узких мест там, где их быть не должно.

Обычный сервер рассчитан на то, что его компоненты выделяют тепло равномерно и предсказуемо. Процессоры греются умеренно, память почти не греется, диски вообще холодные. Суммарная мощность рассеивания — несколько сотен ватт, максимум киловатт.

Теперь представьте, что вы воткнули в этот сервер восемь GPU, каждый из которых жрёт 350–700 ватт под нагрузкой. Итого — до пяти с половиной киловатт только на ускорители. Плюс процессоры, плюс память, плюс накопители. В сумме вы получаете шесть-семь киловатт тепла, которые надо отвести из металлической коробки размером два юнита.

Стандартное воздушное охлаждение справляется с этим примерно так же, как домашний вентилятор справляется с пожаром. GPU начинают троттлить (снижать частоты, чтобы не сгореть), производительность падает на двадцать-тридцать процентов, а шум от вентиляторов на максимальных оборотах становится физически некомфортным.

AI-серверы проектируются с другой термодинамикой. Жидкостное охлаждение, увеличенные радиаторы, продуманная аэродинамика внутри корпуса, раздельные термозоны для CPU и GPU. Это не эстетика, это физика: если вы не отведёте эти киловатты — они просто убьют вашу производительность раньше, чем вы успеете закончить обучение модели.

Стандартный сервер оснащается памятью DDR4 или DDR5 — быстрой по меркам обычных задач. Пропускная способность на канал — порядка 25–50 ГБ/с на процессор. Для веб-сервера или базы данных это более чем достаточно.

Но для задач машинного обучения, где данные непрерывно гоняются между CPU, GPU и системной памятью, этого мало. Особенно когда модель не помещается целиком в GPU-память и приходится подгружать веса порциями из системной RAM.

Специализированные AI-серверы комплектуются памятью с увеличенным числом каналов, иногда с поддержкой CXL (Compute Express Link) для прямого доступа GPU к системной памяти в обход CPU. Это даёт не просто больше гигабайт — это даёт возможность этими гигабайтами реально пользоваться на скорости, достаточной для того, чтобы GPU не простаивали в ожидании данных.

Когда вы собираете домашний ПК, блок питания на 850 ватт кажется солидным. Для обычного сервера хватает двух резервированных БП по полтора киловатта.

AI-сервер с восемью H100 потребляет под пиковой нагрузкой до семи киловатт. Это не теория — это измеренная цифра. И это значит, что вам нужна не просто розетка на 220 вольт, а выделенная линия на 380 вольт с соответствующей проводкой и автоматикой. В дата-центре это стандартная история, но если вы собираете сервер сами — будьте готовы к тому, что электрик посмотрит на вас с недоумением.

Кроме того, блоки питания для AI-серверов должны быть спроектированы с расчётом на длительную работу под полной нагрузкой. Обычный серверный БП рассчитан на пиковую мощность в течение нескольких минут, потом нагрузка падает. AI-задачи могут молотить на максимуме сутками. Если БП не рассчитан на это — он просто сдохнет через несколько недель.

Восемь GPU в сервере — это не восемь независимых вычислителей. Это распределённая система, и от того, как они соединены, зависит всё.

Плохая топология: все GPU висят на PCIe через CPU. Каждый обмен данными идёт через процессор. Латентность огромная, пропускная способность — узкое место.

Хорошая топология: GPU соединены через NVSwitch или прямые NVLink-мосты в виде полносвязного графа (каждый с каждым). Данные идут напрямую, без посредников. Латентность минимальна, пропускная способность максимальна.

Разница в производительности между этими двумя сценариями может достигать трёх раз. Вы можете купить дорогущие H100, воткнуть их в неправильный сервер — и получить производительность на уровне старых A100 просто потому, что они не могут нормально общаться друг с другом.

Нужна правильная топология под вашу конфигурацию GPU? На ltrade.su спроектируют кластер с учётом реального паттерна обмена данными в вашей модели — без лишних мостов там, где они не нужны, и с полной связностью там, где она критична.

Вот здесь важно сказать правду, которую продавцы иногда замалчивают: не каждая задача машинного обучения требует специализированного железа.

Если вы делаете инференс небольших моделей (7B параметров, одна GPU, batch size до восьми), вам подойдёт обычный сервер с одной A10G или RTX 4090. Переплата за AI-топологию тут бессмысленна — узких мест просто нет.

Если вы обучаете модель с нуля на сотнях GPU — тут уже речь идёт не просто об AI-сервере, а о полноценном кластере с InfiniBand, общей файловой системой и оркестрацией. Это другой уровень сложности и другие деньги.

Специализированный AI-сервер имеет смысл для средних и крупных задач: инференс моделей от 70B параметров, файнтюнинг с распределением на несколько GPU, продакшн-сервисы с высоким трафиком. Вот там разница между «просто сервер с видеокартами» и «правильный AI-сервер» становится критичной — и окупается за месяцы.

Подытожим всё сказанное в несколько тезисов без воды.

AI-сервер — это не маркетинговое название обычного сервера с GPU. Это инженерное решение, где каждый компонент подобран под специфику машинного обучения: высокая пропускная способность между GPU, мощное охлаждение, избыточная мощность блоков питания, правильная топология памяти.

Если задача требует нескольких GPU и длительной нагрузки — обычный сервер вас разочарует. Либо производительностью, либо надёжностью, либо счётом за электричество.

Но если задача простая и локальная — переплачивать за специализацию нет смысла. Главное — понимать, где проходит эта граница.

Если вы дошли до этого места, значит, задача перед вами реальная, а не гипотетическая. И вопрос уже не в том, нужен ли вам AI-сервер, а в том, какой именно и с какой конфигурацией.

Команда «Лямбда-Т» занимается поставками серверов и GPU-кластеров для задач машинного обучения. Они помогут подобрать конфигурацию под ваши реальные нагрузки: не «мощнее, значит лучше», а ровно то, что нужно для вашей модели, вашего batch size и вашего бюджета.

Оставьте заявку на нашем сайте — и получите расчёт инфраструктуры, где каждый компонент обоснован технически, а не взят с потолка.

Делитесь в комментариях, с какими неожиданностями вы столкнулись при запуске AI-задач на обычных серверах — и что в итоге пришлось переделывать. Этот опыт реально ценен для тех, кто только начинает разбираться в теме.

Успешных запусков и пусть ваши GPU никогда не ждут данных!