HoloPart: Революция в 3D-сегментации объектов в искусстве

HoloPart: Прорыв в 3D-сегментации объектов

Зачем снова открывать старую дверь, когда можно с размахом распахнуть новую? 3D-сегментация объектов на семантические части не нова, но до сих пор многие методы упорно игнорируют один из самых интересных аспектов — скрытые части трехмерных объектов. Честно говоря, это как пытаться кушать торт, только глядя на его верхушку. Фигуру в полном объеме может сделать только настоящая магия, и здесь на сцену выходит HoloPart от команды VastAI.

Эта модель решает проблему амодальной сегментации, восстанавливая скрытые фрагменты, которые воспринимаются как невидимые из-за ограничений других подходов. Представьте себе: вы хотите изменить размер колес у машины или добавить изюминку к своему 3D объекту, но, о ужас, вы всего лишь видите абстракцию, в то время как ваша креативность мечется в поисках полноты. HoloPart превращает вашу задумку в реальность и избавляет вас от мучительных часов работы.

Как это работает? Два этапа волшебства!

Модель HoloPart работает по принципу двухступенчатого процесса. Сначала стандартная сегментация выделяет видимые части, а затем HoloPart, подобно искусному художнику, достраивает их до целостных 3D-форм, используя комбинацию локального и глобального внимания. Представьте, как локальные механизмы фокусируются на деталях каждой части, словно увеличительное стекло, исследующее узоры на ткани, в то время как контекстное внимание следит за тем, чтобы все элементы гармонично вписывались в общую картину. Практически как дирижёр, который управляет музыкальным ансамблем, чтобы все инструменты звучали в унисон!

Результаты говорят сами за себя

Эксперименты на таких датасетах, как ABO и PartObjaverse-Tiny, показали, что HoloPart обходит своих соперников, таких как PatchComplete и DiffComplete, на всех фронтах. Этот малыш установил рекорды: средний Chamfer Distance (показатель точности совпадения форм) у HoloPart составляет ошеломляющие 0.026 по сравнению с 0.087 у DiffComplete на ABO. А F-Score, который измеряет полноту восстановления, skyrocketed до 0.848 — просто разрыв шаблонов! В общем, HoloPart — это тот инструмент, который рисует на мольберте 3D-мира, добавляя глубину и жизнь.

⚠️ Однако не стоит забывать, что перед тем как загрузить целевой glb-файл в HoloPart, вам нужно будет провести сегментацию с помощью сторонних инструментов. Разработчики советуют использовать SAMPart3D или SAMesh — так вы точно не ошибетесь.

Хочешь попробовать? Пошаговое руководство

Если вы готовы провести собственный эксперимент с этой моделью, вот краткое руководство.

# Клонирование репозитория git clone https://github.com/VAST-AI-Research/HoloPart.git cd HoloPart # Создание окружения conda conda create -n holopart python=3.10 conda activate holopart # Установка зависимостей pip install torch torchvision --index-url https://download.pytorch.org/whl/{your-cuda-version} pip install -r requirements.txt # Шаг 1: Подготовьте сегментированную сетку с помощью файла сетки и маски import trimesh import numpy as np mesh = trimesh.load("mesh.glb", force="mesh") mask_npy = np.load("mask.npy") mesh_parts = [] for part_id in np.unique(mask_npy): mesh_part = mesh.submesh([mask_npy == part_id], append=True) mesh_parts.append(mesh_part) mesh_parts = trimesh.Scene(mesh_parts).export("input_mesh.glb") # Шаг 2: Разложите 3D-меш на полные части: python -m scripts.inference_holopart --mesh-input assets/example_data/file.glb

Конечно, не забудьте про лицензирование — MIT License, так что у вас есть полная свобода действий.