Група дослідників з Китаю та Сінгапуру опублікувала статтю, в якій розповіли про концепцію загального комп'ютерного контролю GCC (General Computer Control) для штучного інтелекту. Вони намагалися навчити ШІ грати в Red Dead Redemption 2 як приклад складної взаємодії з комп'ютером на рівні середньої людини. Цей експеримент досліджує можливості створення просунутого загального штучного інтелекту (AGI).
ШІ, що працює на основі моделі OpenAI GPT-4V, взаємодіяв з комп'ютером, сприймаючи візуальні та звукові сигнали для інтерпретації та прийняття рішень. Для цього довелося реалізувати складну систему із шести модулів, яка отримала назву CRADLE.
Вибір Red Dead Redemption 2 обґрунтований тим, що це велика комплексна гра з багатим віртуальним середовищем та різноманітними ситуаціями. Також наявність підказок, інтерфейсу та діалогів сприяє процесу навчання. А керування за допомогою миші та клавіатури відмінно підходило для загальної концепції GCC. Дослідники прагнули показати, що ШІ здатний вивчати гру з нуля, подібно до людини, переміщатися світом і виконувати завдання. І певного прогресу в цьому вдалося досягти. Система CRADLE змогла виконувати ряд завдань, хоча були винятки, наприклад, місія Protect Dutch, де є стрімка перестрілка, або завдання Search House, яке потребує дослідження складного ігрового середовища.
За підсумками дослідження виявлено слабке місце усієї системи — це система машинного зору GPT-4V. Виявилося, що дана модель ШІ не справляється з обробкою всієї візуальної інформації. Зокрема, є проблема з розумінням мінікарти, зі сприйняттям перешкод в ігровому середовищі та іншими елементами. Поки що можливості GPT-4V недостатні для точного просторово-візуального розпізнавання.
Можливо, автори повторять дослідження у майбутньому. У статті згадується, що їхня система CRADLE здатна працювати з іграми широкого спектра жанрів, не обмежуючись Red Dead Redemption 2.
Джерело:
Tom's Hardware