После громкого анонса нового поколения видеокарт Nvidia GeForce RTX 50-й серии большой интерес вызвала технология кадров DLSS 4, которая породила много споров. Эту версию DLSS переведут на новую модель — вместо нейронной сети CNN будет использоваться модель Transformer. Такая нейронная сеть лучше работает с длинными закономерностями, что позволило внедрить новую технологию генерации кадров Multi Frame Generation, которая создает до четырех кадров.

Журналист Digital Foundry взял интервью у Брайана Катанзаро (Bryan Catanzaro), вице-президента Nvidia по исследованиям в области прикладного глубокого обучения, относительно новой технологии, ее особенностей и нюансов. Катанзаро рассказал, что новая модель ИИ в DLSS 4 исправит классические недостатки апскейла в виде мерцаний и ореолов. При этом она требует в два раза больше вычислений. DLSS 4 обеспечит лучшее качество картинки (которое в современной версии DLSS и так на очень хорошем уровне). Был задан вопрос относительно новой генерации кадров Multi Frame Generation и ее эксклюзивности для видеокарт GeForce RTX 50-й серии. Возможно ли ее портировать на старое оборудование, например, на GeForce RTX 30-й серии? Катанзаро не стал исключать такой возможности.

«Я думаю, это в первую очередь вопрос оптимизации и разработки» — сказал вице-президент Nvidia. «Мы запускаем генерацию кадров, лучшую технологию Multi Frame Generation, с 50-й серией, и посмотрим, что мы сможем выжать из старого оборудования в будущем.»

Технология Frame Generation в GeForce RTX 40-й серии была привязана к аппаратному ускорителю Optical Flow, который отличался от механизмов ускорения в GeForce RTX 30. И тогда тоже звучали слова, что в теории генерацию можно адаптировать для старых GPU, хотя она будет работать не так эффективно. DLSS 4 работает на базе новой нейросети, генерация не зависит от Optical Flow и опирается только на тензорную производительность. И эксклюзивность Multi Frame Generation теперь оправдывается только высокой производительностью тензорных ядер в новых GPU. Хотя слова Катанзаро означают, что Nvidia оставляет открытой дверь для новых возможностей. И, возможно, эту генерацию адаптируют для видеокарт прошлых серий.

Отметим отдельно, что на днях появилось видео с демонстрацией GeForce RTX 5090 в Cyberpunk 2077. Блогер показал, что DLSS 4 с генерацией не просто серьезно повышает производительность, но и работает при низких задержках.

Источник:
Wccftech