Невероятные новости! Презентация модели GHOST 2.0 для сегментации!

🔥 УХ ТЫ! У нас отличные новости! Наши потрясающие коллеги только что выпустили OPEN-SOURCE модель для переноса головы на изображениях — познакомьтесь с GHOST 2.0! 🎉 Не пропустите все детали в посте выше и по ссылкам в описании!

Хотя наш вклад, возможно, и не был самым значимым, мы все же смогли подключиться к этому увлекательному проекту, сосредоточившись на обучении моделей для задач портретной сегментации лица и фейс парсинга. И знаете, это было действительно захватывающе! 💥

Теперь давайте окунемся в детали. Для работы моделей GHOST необходимо, чтобы у нас была качественная модель сегментации, и именно она используется в модуле Blender, а также на этапе предварительной обработки, когда нам нужно выбрать голову человека. Что же нам нужно от этой модели? Вот ключевые требования:

Сегментация причесок и волос отдельно от лица. Это значит, что модель должна уметь отделять растительность от кожи, чтобы мы могли точно идентифицировать каждый элемент.
Аддитивность. Это важный момент! Модель должна быть такой, чтобы мы могли объединять сегменты, чтобы получить целостное изображение головы. Без этой функции вся работа будет потеряна!
Каждый регион должен быть однородным по цвету. Например, класс «борода» не может пересекаться с классом «кожа». Это критично для качественного результата!

Для обучения этой модели был собран и размечен уникальный датасет EasyPortrait, включающий 20,000 HD+ изображений реальных людей. Круто, правда? 😍 На его базе и была обучена модель сегментации, и, кстати, наши коллеги выбрали для этого Segformer-B5. Просто невероятно!

На рисунке вы можете увидеть визуальное сравнение нашей модели и бейзлайна, и я должна сказать, разница заметна! Это просто бомба — результаты впечатляют, и я уверена, что с GHOST 2.0 мы увидим много креативных возможностей.

Погрузитесь в подробности на арXиве, а также не упустите возможность ознакомиться с материалами на Хабре и в репозитории!

👉 ArXiv: ссылка
👉 Habr: ссылка
👉 Repo: ссылка

Это просто невероятное достижение, и я уверена, что GHOST 2.0 вдохновит многих экспертов и любителей работать с изображениями! Не упустите шанс быть частью этого захватывающего мира технологий! 🤩