Генеративные нейросети уверенно вошли в обыденную жизнь. Массовое распространение получили модели искусственного интеллекта для создания изображений по описанию. Следующий шаг — создание видео, и разработки в этой области уже есть. Теперь компания OpenAI, известная по ChatGPT, представила новую генеративную модель Shap-E, которая создает 3D-объекты по описанию. Полученное изображение можно импортировать в Microsoft Paint 3D для последующей обработки или в формат STL для печати на 3D-принтере.
Модель Shap-E доступна бесплатно на GitHub и работает локально на вашем ПК. После загрузки всех файлов Shap-E не требует соединения с Интернетом и каких-то онлайновых сервисов. Однако установить данную модель не так просто, поскольку OpenAI не дает инструкций для обычных пользователей. Автор с Tom's Hardware смог запустить Shap-E в среде Linux и под WSL2 для Windows. Модель Shap-E требует Python Pip, установки Miniconda или Anaconda. Для просмотра небольших фрагментов кода автор использовал интерактивный блокнот Jupyter Notebook. Полное описание установки доступно на Tom's Hardware.
Если говорить о результатах, то они пока выдаются в низком разрешении. Также лучше всего у Shap-E получаются анимированные GIF, в трехмерном формате PLY объекты зачастую выглядят плохо и имеют кривую геометрию. Также Shap-E может преобразовывать 2D-изображение в 3D-объект. Очевидно, что это начальный этап развития проекта, поэтому OpenAI и распространяет данную модель бесплатно. Когда Shap-E достигнет более совершенного уровня, на его основе могут запустить платный сервис.
Также журналист Tom's Hardware поделился примерными данными о производительности Shap-E. Генерация простеньких моделей на системе с Ryzen 9 5900X и GeForce RTX 3080 занимает до 5 минут, ноутбук Asus ROG Strix Scar 18 с Intel Core i9-13980HX и RTX 4090 справлялся с этим за 2-3 минуты. Автор попытался запустить генерацию на старом ноутбуке с процессором Intel Core 8-го поколения и встроенной графикой, но за час было завершено только 3% модели.