На мероприятии Intel Vision компания представила и показала свой новый ускоритель для вычислений искусственного интеллекта Gaudi 3. В его основе большой процессор с несколькими кристаллами, включая два больших вычислительных блока и несколько блоков памяти. Новый ускоритель обеспечивает пиковую производительность FP8 до 1835 TFLOPS и должен быть быстрее популярного ускорителя Nvidia H100.
Процессор Gaudi 3насчитывает 64 тензорных ядра пятого поколения (по 32 на одно большое GPU-ядро), 96 МБ скоростной кэш-памяти SRAM и 128 ГБ памяти HBM2e (8 стеков) с пропускной способностью 3,7 ТБ/с. И все это объединено в один большой чип на одной подложке, который производится на базе техпроцесса 5 нм TSMC. Поддерживается до 24 линий 200 Gigabit Ethernet для создания комплексных масштабируемых вычислительных систем.
Ускорители Intel Gaudi 3 AI будут выпускаться в форм-факторе OAM (OCP Accelerator Module) HL-325L с мощностью до 900 Вт для высокопроизводительных серверных решений с возможностью водяного охлаждения. Также будут доступны ускорители Gaudi 3 HL-338 под PCIe с TDP 600 Вт и характеристиками идентичными OAM. Одновременно анонсирована базовая плата HLB-325 и система HLFB-325L, которая может включать до 8 ускорителей Gaudi 3. Такая система имеет совокупный TDP в 7,6 кВт при размере 19 дюймов.
В своих материалах Intel активно сравнивает новый ускоритель с Nvidia H100 и Nvidia H200. И новый Intel Gaudi 3 заметно лучше справляется с обучением разных моделей ИИ, показывая преимущество от 1,4 до 1,7 раз. При выводе разница уже заметно ниже. Но с точки зрения энергоэффективности Gaudi 3 лучше в 1,2-2,3 раза, в зависимости от области вычислений и конкретной модели ИИ.
Первые образцы ускорителя Intel Gaudi 3 AI будут доступны партнерам в первой половине 2024 года. Но отгрузка крупных партий начнется не ранее второй половины года.
Источник:
Videocardz