Генеративні нейромережі за останні пів року набули шаленої популярності. Ми звикли до неймовірних чи реалістичних зображень, які здатний створити штучний інтелект. Але незабаром на нас може чекати хвиля генеративних нейромереж, які можуть створювати відео. Над таким проєктом вже працюють фахівці NVIDIA разом із Корнелльським університетом. Ймовірно цю модель штучного інтелекту представлять на Міжнародній конференції з комп'ютерного зору та розпізнавання образів, що відбудеться у червні.
Нейромережа Nvidia Video LDM використовує модель прихованої дифузії (LDM) для якісного синтезу зображень, включаючи напрацювання LDM Stable Diffusion. Спочатку йде попереднє навчання LDM лише на зображеннях; потім генератор зображень перетворюють на генератор відео, вводячи часові параметри для послідовності зображень; потім йде вирівнювання та узгодження. Дана модель генеративного ШІ розробляється для двох цілей — моделювання водіння в реальному середовищі та створення творчого контенту. Перевірка автомобільних відео проходить валідацію на реальних записах з роздільною здатністю 512 x 1024. Таку технологію можна використовувати для розробки майбутніх систем автономного водіння. І загалом даний ШІ має широкі перспективи в різних сферах діяльності.
ШІ зможе генерувати відеоролики за текстовим описом, наприклад, «коала грає на піаніно».
Зараз нейромережа вміє генерувати відео з роздільною здатністю до 1280 x 2048 при тривалості до 5 секунд. Багато цікавих прикладів представлено на офіційній сторінці проєкту.
Джерело:
Cornell University