Компания Nvidia является лидером на рынке вычислительного оборудования для искусственного интеллекта. Зеленая корпорация зарабатывает миллиарды, а новые устройства отгружаются тоннами. При этом альтернативные решения есть как у AMD, так и у Intel. Последняя предлагает мощный ускоритель вычислений Gaudi 2, о котором мало слышно в новостях, но он имеет высокий потенциал. Компания Stability AI, которая разрабатывает известный ИИ Stable Diffusion, поделилась своими тестами Intel Gaudi 2 и Nvidia H100. И внезапно оказалось, что ускоритель Intel обеспечивает лучшие результаты.
В вычислениях новой модели Stable Diffusion 3 ускоритель Intel Gaudi 2 показал исключительные результаты. Для тестирования запускалась модель с 2 миллиардами параметров на двух узлах по 16 ускорителей. Оказалось, что конфигурация с Gaudi 2 обеспечивает обработку изображений на 56% быстрее! А если сравнивать с более старыми Nvidia A100, то разница в 2,4 раза!
Также приведены результаты вычислений модели Stable Beluga 2.5 с 70 миллиардами параметров на базе модели LLaMA 2. Без дополнительных операций и оптимизаций при управлении PyTorch конфигурация из 256 ускорителей Gaudi 2 обеспечивает среднюю пропускную способность 116777 токенов в секунду, что на 28% быстрее конфигурации из A100.
Устройство Intel Gaudi 2 базируется на мощном чипе собственной архитектуры. Известно, что он ориентирован на гетерогенные вычисления, оснащен 24 большими тензорными ядрами, имеет 48 МБ SRAM и 96 гигабайт памяти HBM2e, плюс 24 интегрированных Gigabit Ethernet. Большой объем памяти может быть одним из факторов, определившим успех Gaudi 2 в тестах. Оригинальный ускоритель Nvidia H100 оснащен 80 гигабайтами, а этого уже маловато для больших моделей ИИ. Но надо помнить, что зеленый гигант уже анонсирован H200 с 141 ГБ памяти HBM3e.
Источник:
Wccftech