Триває бум штучного інтелекту. Найбільші технологічні компанії вкладають величезні кошти в розвиток цієї сфери та в нові обчислювальні центри. Але стрімке нарощування обчислювальної інфраструктури призводить до серйозного зростання енергоспоживання, що в найближчому майбутньому може стати певною проблемою. Наразі ChatGPT потребує близько 564 МВт∙год щодня, чого вистачило б для живлення 18 тисяч американських будинків. І загальне енергоспоживання дата-центрів ШІ лише зростатиме. Фахівці прогнозують, що до 2027 року ШІ може споживати від 85 до 134 ТВт∙год на рік. Тому провідні гравці ринку вже розглядають варіанти з малими атомними реакторами, які будуть використовуватися виключно для живлення ЦОД.
З іншого боку, різні компанії та дослідники шукають шляхи оптимізації обчислень. Інженери з BitEnergy AI готові запропонувати свій варіант економії, який знизить енергоспоживання обчислювальних систем ШІ на значні 95%. Вони пропонують новий алгоритм цілочисельного лінійно-складного множення (Linear-Complexity Multiplication) замість звичних операцій множення з рухомою комою. Операції з рухомою комою дають змогу виконувати обчислення з високою точністю, але це водночас дуже енергомістка операція під час роботи зі ШІ. Новий алгоритм Linear-Complexity Multiplication використовує метод апроксимації складного множення з рухомою комою простішими операціями цілочисельного додавання. При цьому економія енергії складе 95% для тензорних множень і 80% для скалярних операцій. Тестування довело, що така заміна дає змогу зберегти потрібну точність під час виведення ШІ. Linear-Complexity Multiplication навіть перевершує поточні 8-бітові обчислювальні стандарти, досягаючи вищої точності з меншою кількістю обчислень. Цей алгоритм можна інтегрувати в GPT. Тести в популярних моделях Llama і Mistral показали кращу точність у деяких завданнях.
Головна проблема нового алгоритму в тому, що він потребуватиме нового апаратного забезпечення. А в цьому можуть бути не зацікавлені провідні виробники обладнання, включно з Nvidia. Хороша новина в тому, що вже є плани з розроблення спеціального обладнання та програмних API під новий метод, але не згадується, про які компанії йдеться.
Джерело:
TechSpot