Новая Глава в Генеративном ИИ: TripoSG и TripoSF

В мире технологий генеративный искусственный интеллект продолжает удивлять своим развитием. На этот раз нашему вниманию представлены две выдающиеся модели 3D-моделирования — TripoSG и TripoSF. Эти новички в жанре создания высококачественных 3D-объектов открывают двери к гибким возможностям для дизайна, анимации и печати.

TripoSG: Преобразование 2D в 3D

TripoSG 1.5B — это модель, способная превращать одиночные 2D-изображения, будь то фотографии, эскизы или мультяшные картинки, в детализированные 3D-сетки. Благодаря использованию rectified flow transformers, процесс генерации становится более гладким и эффективным. От традиционных диффузионных моделей этот метод отличается упрощением работы: он соединяет массивы данных с шумом по прямой, что значительно ускоряет и упрощает процесс.

Кроме того, модель была обучена на огромном наборе данных, состоящем из 2 миллионов пар изображений и SDF (signed distance function), что позволяет ей генерировать качественные 3D-сетки с учетом всех нюансов.

TripoSF: Сложность и Детализация

На другой стороне спектра мы имеем TripoSF — истинный шедевр в мире 3D-моделирования. Эта модель способна обрабатывать более сложные топологии, включая открытые поверхности и внутренние структуры объектов. Размеры создаваемых ею моделей могут достигать 1024³ пикселей, а благодаря использованию вокселей с учетом перспективы (frustum-aware voxels) она способна моделировать даже самые далекие внутренние детали, включая сложные механизмы.

Как всё работает?

Процесс работы обеих моделей довольно интуитивен. Вы просто загружаете одно 2D-изображение, и модель, используя вариационный автоэнкодер (VAE) с геометрическим надзором, начинает анализировать его. В результате вы получаете готовую 3D-модель, которую можно использовать не только в видеоиграх и анимации, но и для 3D-печати.

Для разработчиков и креаторов это не просто новые инструменты; это настоящая находка для реализации оригинальных идей и проектов. При наличии таких мощных моделей как TripoSG и TripoSF, мир 3D-дизайна, кажется, обрел новое дыхание.

Партнерство с Stability AI

Нельзя не упомянуть, что Tripo активно сотрудничает со Stability AI. Ранее они представили TripoSR, модель для быстрой реконструкции 3D-объектов из одного изображения, которая также была выпущена как open-source. TripoSG и TripoSF — это эволюция, расширяющая границы возможностей генерации 3D-объектов: от простых форм до сложных структур.

Внедрение этих моделей не может не вызвать восторга среди разработчиков, творцов и дизайнеров, работающих в различных сферах креатива.

Если вы хотите изучить эти системы более подробно, вы можете ознакомиться с проектами, документацией и кодом на их официальных ресурсах на GitHub.

🟡 Github
🟡 Model
🟡 Project
🟡 Paper

@ai_machinelearning_big_data

#ai #3dgeneration #opensource #Tripo

Что касается меня, я искренне вижу огромную перспективу в использовании таких технологий. За цифровым искусством будущее!