Наприкінці минулого року компанія AMD анонсувала нові спеціалізовані рішення для штучного інтелекту Instinct MI325X та Instinct MI355X. У рамках виставки CES 2025 були продемонстровані живі зразки Instinct MI325X, які вже повинні надходити першим замовникам. І це перші детальні фотографії прискорювачів без масивного охолодження, на яких можна чітко розгледіти чипи та всі елементи на платі.
Instinct MI325X оснащений тим же двочиповим графічним процесором, який використовується в попередній моделі Instinct MI300X. Такий GPU налічує 19456 потокових процесорів із частотою Boost Clock 2100 МГц. Головна зміна — застосування 256 ГБ пам'яті HBM3E з пропускною здатністю 6 ТБ/с замість 192 ГБ HBM3 5,3 ТБ/с. І це важлива перевага щодо конкурентних рішень від Nvidia, наприклад, прискорювач Hopper H200 має всього лише 141 ГБ пам'яті HBM3E ТБ/с.
Обсяг пам'яті та її швидкість дуже важливі для великих мовних моделей. Сучасні моделі ШІ можуть мати мільярди параметрів і потребують тисячі графічних процесорів для навчання. Зберігання цих параметрів разом із проміжними даними та градієнтами потребує значного обсягу пам'яті. Оскільки жодна модель ШІ не поміщається повністю у вбудовану пам'ять GPU, розробники використовують різні методи для розпаралелювання завдань. Наявність великого обсягу пам'яті у GPU дає змогу зменшити загальну кількість процесорів, що знижує витрати на навчання ШІ. Також великий обсяг пам'яті допомагає обробляти більші партії даних, підвищуючи загальну пропускну здатність і ефективність обчислювального кластера.
Однак на практиці все не так оптимістично. У бенчмарку MLPerf 4.1 на моделі Llama 2 70B система з вісьмома Nvidia H100 80GB генерує стільки ж токенів, скільки й вісім AMD Instinct MI300X 192GB. Але в певних завданнях рішення AMD виглядають більш виграшно, зокрема завдяки зниженню загальних витрат. І раніше представники Microsoft не раз називали прискорювачі AMD Instinct найкращим вибором для моделі GPT.
Джерело:
Tom's Hardware