🤯 HunyuanCustom: Когда видеогенерация перестает быть клоунадой и начинает работать!

Ну что, друзья, вы готовы к чему-то невероятному? Потому что Tencent, эти ребята явно не сидят сложа руки, выпустили нечто, что может навсегда изменить наше представление о видеогенерации. Встречайте HunyuanCustom – фреймворк, который, кажется, наконец-то решил похоронить проблему "прыгающих" лиц и сползающих надписей, которые мучают нас в видео от AI.

Что такое HunyuanCustom и почему нам это нужно?

Если вы хоть раз пытались сгенерировать видео с помощью AI, вы знаете, о чем я говорю. Получается что-то вроде жуткого, нереалистичного аттракциона, где лица меняются как у хамелеона, а текст на логотипах превращается в абстрактное искусство. HunyuanCustom пытается исправить это. И, судя по демо-роликам, у них это довольно успешно получается.

Это не просто генератор видео. Это фреймворк, который понимает, что такое консистентность. Он сохраняет идентичность персонажей, не допускает внезапных изменений фона и даже может поддерживать синхронизацию звука с движением губ – это вам не просто роботизированный монолог!

Как это работает? Под капотом магии.

В основе HunyuanCustom лежит комбинация нескольких инновационных решений:

• LLaVA и понимание контекста: Модель связывает текстовое описание с визуальными деталями. Вы загружаете фото женщины в платье и пишете "танцует под дождем" - и система не просто генерирует женщину под дождем, а делает это, сохраняя стиль платья, прическу и даже выражение лица. Это вам не "женщина + дождь = готово".
• 3D-VAE и временная конкатенация: Тут начинается самое интересное. 3D-VAE (Variational Autoencoder) "растягивает" черты лица или объекта во времени, чтобы избежать "прыжков". Представьте, как будто вы создаете не отдельные кадры, а непрерывное, "плавное" движение. Это гениально!
• AudioNet и синхронизация губ: Чтобы видео выглядело не просто красиво, но и правдоподобно, нужна синхронизация звука. AudioNet, используя пространственное кросс-внимание, выравнивает аудио- и видеофичи. Это вам не просто наложенный трек, а согласованное движение губ и звук.
• Замена объектов "на лету": И как будто этого мало, HunyuanCustom умеет подставлять новые объекты в уже готовые ролики. Хотите заменить кроссовки в рекламном ролике? Просто подмените модель в латентном пространстве – и никаких артефактов на границах!

Сравнение с конкурентами: Tencent vs. The World

И тут самое приятное – сравнение с конкурентами. Экспериментальные тесты показали, что HunyuanCustom значительно превосходит другие модели по ключевым метрикам. Face-Sim (сохранение идентичности лица) – 0.627 против 0.526 у Hailuo. Другие модели, такие как Keling, Vidu, Pika и Skyreels, вообще не могут с этим тягаться. Тут видно, что Tencent не просто делают шаг вперед, а прыжок!

Но есть нюансы...

Конечно, без "но" не обошлось. HunyuanCustom – это мощный инструмент, требующий ресурсов. Для роликов 720p нужен минимум 24 ГБ видеопамяти, а для раскрытия всех возможностей – 80 ГБ VRAM. Так что, если у вас видеокарта уровня "почтальон Печкин", то придется поискать другие варианты. Хотя, разработчики предоставили примеры запуска на нескольких GPU и экономный режим для потребительских видеокарт, так что есть шанс попробовать и на менее мощном оборудовании.

Заключение? Не, не надо.

Код, чекпоинты и примеры запуска уже доступны в открытом доступе. Это отличная новость для исследователей и разработчиков, которые хотят попробовать свои силы в видеогенерации нового поколения. Лицензия – Tencent Hunyuan Community License, так что, используйте с умом и делитесь своими результатами!

[🟡Страница проекта](ссылка на страницу проекта)

[🟡Модель](ссылка на модель)

[🟡Arxiv](ссылка на arxiv)

[🖥GitHub](ссылка на github)

Ну что, друзья, готовьте свои видеокарты и вперед – покорять мир видеогенерации! Эта штука может изменить правила игры. А я пока пойду смотреть, что еще Tencent приготовили нам на будущее. 😉