Как видно по вышеприведенному скриншоту, при загрузке примерно 3,3 ГБ видеопамяти пропускная способность падает в разы: cо ~150 ГБ/с до ~46-22 ГБ/с. Также сообщается, что проблеме подвержены адаптеры не только референсного, но и альтернативного дизайна (то есть спроектированные партнерами Nvidia). Кстати, у GeForce GTX 980 такой проблемы нет.
Сама Nvidia уже отреагировала и сообщила, что работает над поиском решения. Каким образом все решится (драйверами, правкой микрокода или новой ревизией), пока неизвестно. Между тем, вы можете самостоятельно проверить свой адаптер с помощью специальной утилиты_(для корректных результатов рекомендуется отключить на время теста интерфейс Aero и монитор).