HoloPart: Прорыв в 3D-сегментации объектов

Зачем снова открывать старую дверь, когда можно с размахом распахнуть новую? 3D-сегментация объектов на семантические части не нова, но до сих пор многие методы упорно игнорируют один из самых интересных аспектов — скрытые части трехмерных объектов. Честно говоря, это как пытаться кушать торт, только глядя на его верхушку. Фигуру в полном объеме может сделать только настоящая магия, и здесь на сцену выходит HoloPart от команды VastAI.

Эта модель решает проблему амодальной сегментации, восстанавливая скрытые фрагменты, которые воспринимаются как невидимые из-за ограничений других подходов. Представьте себе: вы хотите изменить размер колес у машины или добавить изюминку к своему 3D объекту, но, о ужас, вы всего лишь видите абстракцию, в то время как ваша креативность мечется в поисках полноты. HoloPart превращает вашу задумку в реальность и избавляет вас от мучительных часов работы.

Как это работает? Два этапа волшебства!

Модель HoloPart работает по принципу двухступенчатого процесса. Сначала стандартная сегментация выделяет видимые части, а затем HoloPart, подобно искусному художнику, достраивает их до целостных 3D-форм, используя комбинацию локального и глобального внимания. Представьте, как локальные механизмы фокусируются на деталях каждой части, словно увеличительное стекло, исследующее узоры на ткани, в то время как контекстное внимание следит за тем, чтобы все элементы гармонично вписывались в общую картину. Практически как дирижёр, который управляет музыкальным ансамблем, чтобы все инструменты звучали в унисон!

Результаты говорят сами за себя

Эксперименты на таких датасетах, как ABO и PartObjaverse-Tiny, показали, что HoloPart обходит своих соперников, таких как PatchComplete и DiffComplete, на всех фронтах. Этот малыш установил рекорды: средний Chamfer Distance (показатель точности совпадения форм) у HoloPart составляет ошеломляющие 0.026 по сравнению с 0.087 у DiffComplete на ABO. А F-Score, который измеряет полноту восстановления, skyrocketed до 0.848 — просто разрыв шаблонов! В общем, HoloPart — это тот инструмент, который рисует на мольберте 3D-мира, добавляя глубину и жизнь.

⚠️ Однако не стоит забывать, что перед тем как загрузить целевой glb-файл в HoloPart, вам нужно будет провести сегментацию с помощью сторонних инструментов. Разработчики советуют использовать SAMPart3D или SAMesh — так вы точно не ошибетесь.

Хочешь попробовать? Пошаговое руководство

Если вы готовы провести собственный эксперимент с этой моделью, вот краткое руководство.

# Клонирование репозитория
git clone https://github.com/VAST-AI-Research/HoloPart.git
cd HoloPart

# Создание окружения conda
conda create -n holopart python=3.10
conda activate holopart

# Установка зависимостей
pip install torch torchvision --index-url https://download.pytorch.org/whl/{your-cuda-version}
pip install -r requirements.txt

# Шаг 1: Подготовьте сегментированную сетку с помощью файла сетки и маски
import trimesh
import numpy as np
mesh = trimesh.load("mesh.glb", force="mesh")
mask_npy = np.load("mask.npy")
mesh_parts = []
for part_id in np.unique(mask_npy):
    mesh_part = mesh.submesh([mask_npy == part_id], append=True)
    mesh_parts.append(mesh_part)
mesh_parts = trimesh.Scene(mesh_parts).export("input_mesh.glb")

# Шаг 2: Разложите 3D-меш на полные части:
python -m scripts.inference_holopart --mesh-input assets/example_data/file.glb

Конечно, не забудьте про лицензирование — MIT License, так что у вас есть полная свобода действий.

Где найти HoloPart?

• Страница проекта
• Модель
• Arxiv
• [GitHub](