🤯 HunyuanCustom: Видеогенерация, которая наконец-то выглядит... нормально! (И даже круто!)

Ребята, пристегните ремни! Потому что Tencent только что вывалили на нас HunyuanCustom – и это, кажется, настоящий прорыв в видеогенерации. Если вы хоть раз пытались сгенерировать видео с помощью существующих моделей, вы знаете, что часто получаешь какое-то странное, пляшущее зрелище, где лица меняются, фоны прыгают, а текст на баннерах превращается в абстрактное искусство.

Хуже того, пытался представить себе рекламу кроссовок, которую надо быстро переделать, потому что модель наложила на них какие-то непредсказуемые детали? С HunyuanCustom, похоже, это останется в прошлом.

Что такого особенного в HunyuanCustom?

В отличие от большинства моделей, которые кажутся немного… "недоделанными", HunyuanCustom делает акцент на консистентности. Что это значит? Это значит, что персонажи, объекты и даже текст остаются узнаваемыми и логичными на протяжении всего видео. Представьте себе, что вы можете попросить модель создать видео, где женщина танцует под дождем с фото, которое вы ей предоставили, и получить результат, который не выглядит, как плохой косплей.

Основой системы является улучшенный механизм интеграции текста и изображений, использующий LLaVA. Если вы загружаете фото женщины в платье и пишете "танцует под дождем", система не просто генерирует рандомные картинки. Она связывает описание с визуальными деталями. Это как если бы у модели было понимание контекста, а не просто набор случайных пикселей.

⏳ Temporal Concatenation: Магия сохранения реальности

Но настоящий хайлайт – это модуль временной конкатенации. Это как супер-сила, которая "растягивает" особенности изображения во времени. Забудьте о внезапных изменениях фона или "прыгающих" лицах! Модель использует 3D-VAE, чтобы создать плавный и логичный переход между кадрами.

🗣️ AudioNet: Губы шевелятся - слова звучат!

Не забыли и про звук! Чтобы губы двигались в такт словам (или чтобы объект реагировал на звук), HunyuanCustom использует AudioNet. Этот модуль выравнивает аудио- и видеофичи с помощью пространственного кросс-внимания. Это значит, что теперь видео не просто выглядит реалистично, оно еще и звучит реалистично!

👟 Модификация видео на лету: Подмена кроссовок - это просто!

Представьте, что у вас есть готовое видео, но вы хотите заменить модель кроссовок на новую. Вместо того, чтобы переделывать все с нуля, HunyuanCustom позволяет это сделать! Модель сжимает видео в "латентное пространство" (это как компактный код для видео), встраивает изменения и восстанавливает видео без артефактов. Это как фотошоп для видео, но гораздо круче!

🏆 Результаты, которые говорят сами за себя

Tencent не просто так хвастаются. Экспериментальные тесты показывают, что HunyuanCustom явно обходит конкурентов по ключевым метрикам. Особенно впечатляет показатель Face-Sim (сохранение идентичности лица) – 0.627 против 0.526 у Hailuo. Это не просто "немного лучше", это значительно лучше!

⚠️ Требования к железу: Приготовьтесь!

Но есть и плохая новость для тех, у кого не самые мощные компьютеры. Для роликов 720p требуется минимум 24 ГБ видеопамяти. Если вы хотите раскрыть весь потенциал HunyuanCustom, то лучше иметь 80 ГБ VRAM. Так что, если вы планируете генерировать голливудские блокбастеры, придется вкладываться в железо.

🚀 Вперед, к созданию видео будущего!

Код и чекпоинты уже доступны в открытом доступе, а в репозитории есть примеры запуска на нескольких GPU и на потребительских видеокартах. Так что, если вы готовы к экспериментам, дерзайте!

Ссылки:

• 🟡Страница проекта: https://github.com/tencent-ailab/HunyuanCustom
• 🟡Модель: (тут нужно найти конкретную ссылку на модель)
• 🟡Arxiv: (тут нужна ссылка на статью в Arxiv)
• 🖥GitHub: https://github.com/tencent-ailab/HunyuanCustom

#AI #ML #Video #HunyuanCustom #Tencent

P.S. Не забудьте поделиться своими творениями! Я очень хочу увидеть, что вы сможете создать с помощью HunyuanCustom! И не стесняйтесь задавать вопросы, я всегда рад помочь! И да, я уже представляю, как буду использовать эту штуку для создания мемов... 😈