Сервер для AI и машинного обучения

Главное отличие в обвязке под видеокарты-ускорители. Обычный сервер рассчитан на CPU-нагрузку, а сервер для AI на несколько мощных GPU, поэтому в нём больше линий PCIe на полноценных слотах x16, блоки питания на 2000-3000 Вт, усиленное охлаждение под постоянную нагрузку и большой объём памяти и NVMe под датасеты. Корпус обычно 4U или специализированное GPU-шасси с продувом. По сути это платформа, спроектированная так, чтобы дорогие ускорители не простаивали из-за нехватки питания, охлаждения или скорости данных.

Под обучение и инференс обычно ставят профессиональные ускорители NVIDIA: A100 и H100 под тяжёлое обучение, L40S под универсальные задачи, RTX-карты под бюджетные сценарии и инференс. Конкретную модель и количество подбирают под тип задачи и бюджет. Сами видеокарты у нас идут отдельным направлением на сайте videokarty.kz, а на этой странице мы отвечаем за серверную платформу под них. Если нужно, согласуем платформу и ускорители единым комплектом, чтобы по слотам, питанию и охлаждению всё было совместимо.

Ориентир по оперативной памяти минимум вдвое больше суммарного объёма видеопамяти всех установленных ускорителей, и почти всегда это от 256 ГБ ECC и выше. Память нужна под загрузку батчей, предобработку данных и обвязку обучения, иначе CPU и RAM станут узким местом, а дорогие GPU будут простаивать. Под крупные датасеты и многокарточные сборки берут 512 ГБ или 1 ТБ. Память строго ECC с коррекцией ошибок. Точный объём посчитаем под выбранные карты и характер ваших моделей.

Да, дисковая подсистема под AI это NVMe, и для обучения чаще целый NVMe-массив. Обучающие выборки читаются терабайтами и многократно за эпохи, поэтому медленные SATA-диски превращаются в узкое место и видеокарты простаивают в ожидании данных. Систему и окружение держат на отдельных NVMe, датасеты на быстром массиве с запасом по объёму. Под инференс требования к дискам ниже, чем под обучение. Подберём тип, число и объём накопителей под размер ваших данных и характер чтения.

Каждый ускоритель потребляет от 300 до 700 Вт, поэтому платформа на 4-8 карт требует блоков питания на 2000-3000 Вт с резервированием и подключением на разные линии электропитания. Охлаждение проектируется под круглосуточную нагрузку: продуваемое GPU-шасси, направленные воздушные каналы, в плотных сборках жидкостное охлаждение. Серверной или стойке нужен запас по электричеству и кондиционированию. Мы заранее считаем тепловыделение и энергопотребление и подсказываем требования к помещению, чтобы сервер стабильно работал 24/7.

Да, это наш основной сценарий: вы говорите, какие ускорители планируете или уже купили, а мы под них собираем серверную платформу с правильным числом слотов PCIe, питанием, охлаждением и обвязкой CPU, RAM и дисков. Проверяем совместимость по форм-фактору карт, питанию и габаритам корпуса, чтобы всё встало корректно и раскрыло мощность. Если каталог видеокарт на videokarty.kz ещё открыт, согласуем платформу и ускорители единым комплектом и протестируем сервер под нагрузкой перед отгрузкой.

Если подходящая платформа есть на складе в Алматы, отгружаем за 3-5 рабочих дней. Сборка под ваше ТЗ занимает обычно 1-2 недели с учётом теста и прогона под нагрузкой. Если комплект идёт вместе с ускорителями под заказ, срок составляет от 2 до 4 недель в зависимости от наличия карт у дистрибьютора. Точный срок называем сразу в коммерческом предложении и фиксируем в договоре. В регионы Казахстана добавляется время на доставку транспортной компанией, его тоже учитываем заранее.

Да, с компаниями и ИП работаем по договору поставки и безналичному расчёту с выставлением счёта и счёта-фактуры (ЭСФ). После отгрузки подписываем накладную и акт приёма-передачи. Реквизиты, проект договора и спецификацию конфигурации присылаем заранее, чтобы бухгалтерия и снабжение успели всё согласовать и провести. Поможем с документами для постановки оборудования на учёт. Для тендеров и закупок подготовим необходимый комплект документов и технические характеристики платформы под требования.

Да, по запросу устанавливаем операционную систему, драйверы NVIDIA, CUDA и базовое окружение под обучение и инференс: контейнеры, фреймворки и инструменты по согласованию. Настраиваем сеть, удалённое управление и доступ к серверу. Можем выполнить базовый прогон ваших задач, чтобы убедиться, что ускорители видны и загружаются корректно. Объём настройки согласуем заранее и включаем в смету, чтобы вы получили готовую к работе платформу, а не просто железо, которое ещё нужно поднимать.