Дослідницька лабораторія Google DeepMind опублікувала результати нового дослідження з навчання штучного інтелекту. У цьому звіті представлено новий метод навчання JEST (Joint Example Selection), який у 13 разів швидший та в 10 разів енергоефективніший за звичайні методи навчання ШІ.
Типові методи навчання фокусуються на окремих точках даних для навчання, JEST навчається на основі цілих пакетів даних. Метод JEST спочатку створює меншу модель ШІ, яка оцінюватиме якість даних із високоякісних джерел, ранжуючи пакети за якістю. Потім він порівнює цю оцінку з великим набором нижчої якості. Мала модель JEST визначає пакети, які підходять для навчання, а потім на основі результатів меншої моделі навчається велика модель.
Цей метод перевершує всі сучасні моделі навчання за ефективністю і вимагає в 10 разів менше енерговитрат. Це дуже актуально на тлі серйозного зростання енергоспоживання сучасних обчислювальних центрів. Але є нюанс. JEST покладається на високу якість відібраних вхідних даних і певне сортування, зроблене людиною. Тому метод дуже чутливий до точності вхідної інформації. Це може вимагати залучення фахівців та експертів високого рівня на початковому етапі, що ускладнює завдання для простих розробників і любителів.
Поки не відомо, чи візьмуть на озброєння новий метод розробники великих ШІ. Але на тлі зростання фінансових витрат, які пов'язані з навчанням передових моделей ШІ, пошук варіантів для оптимізації та економії ресурсів є цілком логічним. За підсумками 2023 року загальне енергоспоживання обчислювальних центрів ШІ перевищило 4,3 ГВт, що можна порівняти з енергоспоживанням Кіпру. І згідно з прогнозами в найближчі кілька років воно перевищить 13 ГВт.
Джерело:
Tom's Hardware