xAI Colossus — суперкомпьютер для обучения ИИ продолжает расти
Суперкомпьютерный кластер xAI Colossus, расположенный в Мемфисе (Теннесси, США), достиг беспрецедентного масштаба. Этого удалось достичь благодаря использованию сетевой платформы NVIDIA Spectrum-X Ethernet. Этот кластер, включающий 100 000 графических процессоров NVIDIA Hopper, является крупнейшим в мире суперкомпьютером для обучения искусственного интеллекта. Более того, он используется для тренировки семейства больших языковых моделей Grok от xAI. Они предоставляют функции чат-бота подписчикам X Premium. В настоящее время xAI планирует удвоить мощность Colossus. Поэтому общее количество графических процессоров NVIDIA Hopper вырастет до 200 000.
Важно отметить, что строительство этого высокотехнологичного объекта заняло всего 122 дня. То есть значительно меньше обычных сроков, которые могут составлять несколько месяцев или даже лет. Кроме того, с момента установки первой стойки до начала обучения прошло всего 19 дней. В процессе обучения модели Grok, Colossus демонстрирует исключительную производительность сети. На всех трех уровнях сетевой инфраструктуры отсутствуют задержки приложений или потери пакетов, вызванные коллизиями потоков. Система поддерживает 95% пропускной способности благодаря эффективному контролю перегрузки Spectrum-X. Для сравнения, стандартный Ethernet в аналогичных условиях генерирует тысячи коллизий потоков. Он может обеспечить всего 60% пропускной способности.
Заявления специалистов
Гилад Шейнер, старший вице-президент NVIDIA по сетевым технологиям, подчеркивает, что искусственный интеллект становится критически важной областью, требующей высокой производительности, безопасности, масштабируемости и экономической эффективности. Поэтому платформа NVIDIA Spectrum-X Ethernet разработана для ускорения обработки, анализа и выполнения задач ИИ. Что, в свою очередь, сокращает время разработки, развертывания и вывода на рынок решений в сфере искусственного интеллекта.
Илон Маск в своем сообщении на X отметил Colossus как самую мощную в мире систему обучения. Он высоко оценил работу команд xAI и NVIDIA, а также партнеров и поставщиков. Представитель xAI добавил, что благодаря графическим процессорам NVIDIA Hopper и платформе Spectrum-X, компания смогла создать высокопроизводительную и оптимизированную фабрику искусственного интеллекта. Это позволяет ей расширять границы обучения моделей ИИ в еще более крупном масштабе.
Как это устроено
В основе платформы Spectrum-X лежит Ethernet-коммутатор Spectrum SN5600, основанный на ASIC-коммутаторе Spectrum-4. Скорость его портов достигает 800 Гбит/с. xAI, в свою очередь, использует коммутатор Spectrum-X SN5600 в сочетании с картами NVIDIA BlueField-3 SuperNIC для достижения максимальной производительности.
Наконец, сетевые решения Spectrum-X Ethernet для искусственного интеллекта предоставляют передовые функции, обеспечивающие высокоэффективную и масштабируемую пропускную способность с низкой задержкой, что ранее было доступно только с InfiniBand. Эти функции включают адаптивную маршрутизацию с технологией NVIDIA Direct Data Placement, контроль перегрузки, а также расширенные возможности мониторинга и изоляции производительности, что крайне важно для многопользовательских генеративных облаков ИИ и крупных корпоративных сред.
