Сучасні прискорювачі ШІ обмежені вбудованою пам'яттю. Зі збільшенням обсягів даних і потреб в енергії, індустрія зосереджується на масштабуванні кількості графічних процесорів, але такий підхід не є раціональним у довгостроковій перспективі, якщо врахувати витрати фінансових та виробничих ресурсів. Щоб розв'язати це питання, Panmnesia, стартап KAIST (Корейського передового інституту науки та технології), представила технологію IP CXL, яка дозволяє графічним процесорам використовувати пам'ять з DRAM або навіть SSD, доповнюючи вбудовану HBM.
Panmnesia розробила власний CXL 3.1-сумісний чип, який має декілька портів, що з'єднують графічний процесор із зовнішньою пам'яттю через шину PCIe, а декодер HDM (Host-Managed Device Memory) виступає в ролі моста між підключеннями, керуючи розподілом пам'яті та трансляцією. Традиційні прискорювачі ШІ не мають необхідних підсистем для прямого підключення та використання CXL для розширення пам'яті, а такі рішення, як UVM (Unified Virtual Memory — уніфікована віртуальна пам'ять), працюють досить повільно, що в першу чергу суперечить їхній меті.
Також Panmnesia вирішила порівняти своє рішення (CXL-Opt) з прототипами, розробленими Samsung і Meta, які вони позначили як «CXL-Proto». Очікувано, CXL-Opt досягає значно меншої затримки в передачі даних від графічного процесора до пам'яті та назад. Воно показало двозначну наносекундну затримку, тоді як «CXL-Proto» має затримку 250 нс. Окрім того, час виконання CXL-Opt набагато менший, ніж в UVM.
Рішення Panmnesia може сильно вплинути на ринок. Компанія є однією з перших зі своїм інноваційним CXL IP, і якщо він набуде популярності, Panmnesia отримає значну вигоду.
Джерело:
Wccftech