В конце прошлого года компания AMD анонсировала новые специализированные решения для искусственного интеллекта Instinct MI325X и Instinct MI355X. В рамках выставки CES 2025 были продемонстрированы живые образцы Instinct MI325X, которые уже должны поступать первым заказчикам. И это первые детальные фотографии ускорителей без массивного охлаждения, на которых можно четко рассмотреть чип и все элементы на плате.
Instinct MI325X снащен тем же двухчиповым графическим процессором, который используется в предыдущей модели Instinct MI300X. Такой GPU насчитывает 19456 потоковых процессоров с частотой Boost Clock 2100 МГц. Главное изменение — применение 256 ГБ памяти HBM3E с пропускной способностью 6 ТБ/с вместо 192 ГБ HBM3 5,3 ТБ/с. И это важное преимущество относительно конкурентных решений от Nvidia, к примеру, ускоритель Hopper H200 имеет всего лишь 141 ГБ памяти HBM3E ТБ/с.
Объем памяти и ее скорость очень важны для больших языковых моделей. Современные модели ИИ могут иметь миллиарды параметров и требуют тысячи графических процессоров для обучения. Хранение этих параметров вместе с промежуточными данными и градиентами требует значительного объема памяти. Поскольку ни одна модель ИИ не помещается полностью во встроенную память GPU, разработчики используют разные методы для распараллеливания задач. Наличие большого объема памяти у GPU позволяет уменьшить общее количество процессоров, что снижает расходы на обучение ИИ. Также большой объем памяти помогает обрабатывать более крупные партии данных, повышая общую пропускную способность и эффективность вычислительного кластера.
В реальности, все не так оптимистично. В бенчмарке MLPerf 4.1 на модели Llama 2 70B система с восемью Nvidia H100 80GB генерирует столько же токенов, сколько и восемь AMD Instinct MI300X 192GB. Но в определенных задачах решения AMD выглядят более выигрышно, в том числе благодаря снижению общих затрат. И ранее представители Microsoft не раз называли ускорители AMD Instinct лучшим выбором для модели GPT.
Источник:
Tom's Hardware