Видео дайджест: обновления, которые взорвали интернет

Кто-то явно подсыпал в чай китайским разработчикам, потому что они вновь взорвали мир технологии новыми моделями. Но я не стал хвататься за рот и сразу же писать об этом. Решил, что лучше немного подождать — и вот, наконец-то, у меня в запасе целый набор свежих новинок из мира открытого кода. Давайте погрузимся в этот калейдоскоп видео-генерации, который должен увести нас в бесконечное будущее творчества!

SkyReels-V2: бесконечные киношедевры

На сцене появляется SkyReels-V2 — это не просто SOTA (state-of-the-art) модель, а настоящая звезда в мире видео. Эта открытая модель с использованием LLM и MoE под капотом пополняет ряды новых ребят с двумя версиями: 1.3B и 14B параметрами. Для тех, у кого много VRAM (15 и 52 ГБ), это идеальный спутник в создании видео с разрешением до 720p. Неплохой бонус — возможность генерировать бесконечные фильмы с помощью Diffusion Forcing. Также доступен SkyCaptioner-V1, который поможет вам в разметке видео. Если вы когда-либо мечтали стать режиссёром, это ваш шанс!

FramePack: для тех, кто хочет быстрее

Далее у нас FramePack, который тоже не оставляет шансов: идеален для "слабого" железа! С разработкой от ControlNet Forge и IC Light, это еще одна SOTA в видео-генерации. Он с легкостью генерирует бесконечные видео — прямо как горячие пирожки. Учитывая, что 13B модели умещаются в 6 ГБ VRAM, здесь всё довольно элегантно. Скорость генерации на RTX 4090 достигает примерно 2 кадров в секунду. А с такими фишками, как next-frame prediction и anti-drifting sampling, FramePack собирается задать жару всем остальным. Вы только представьте: генерация видео, где каждое последующее зависит от важности кадров. Как же приятно наблюдать за тем, как технологии становятся всё более продвинутыми!

MAGI-1: революция в видео-генерации

А теперь знакомьтесь с MAGI-1! Эта новая SOTA в видео-генерации выглядит действительно впечатляюще. Доступны две версии: 1.5B и 24B параметров — для последней потребуется целая овца из 8×H100, но поверьте, это того стоит! При разрешении 2560 × 1440, эта авторегрессионная модель напоминает колоссальные достижения в мире AI. А подробный тех-репорт на целых 60 страниц лишь добавляет интриги — кто бы не хотел заглянуть за кулисы?

Все три модели вышли с шумом и гремящими заявлениями о том, что они теперь SOTA в open-source видео-генерации. Но не спешите радоваться: важно не только следить за визуальными эффектами, но и за тем, как данные модели понимают промпты. У нас уже есть более-менее хороший пример в виде Kling, который с серьёзными проблемами справляется не хуже, чем некоторые видеомодели, что вдохновляет.

Другие новинки: не отстаем!

Не забываем и о других интересных разработках:

• Wan FLF 2.1 (14B, 720P) — теперь с возможностью открытого исходного кода для start + end frame. Это значит, что мы можем помочь развитию и улучшению модели!

• Avatar FX — здравствуй, виртуальный мир! Для фанатов Character AI: теперь можно обмениваться кружочками с вашей виртуальной вайфу, как в мессенджере. Ждем, когда дойдет и до видеозвонков! Как же это напоминает «Бегущего по лезвию» — пора записывать сценарий!

• Runway GEN-4 References — просто геймчейнджер! Это функционал, который Galaxy_users и гуру видеомонтажа будут оценивать на вес золота. Нам стоит ждать чего-то по-настоящему прорывного от Runway на конкурсе GEN-48.

Так что, дорогие мои, это был непростой вечер, но здесь: ни шагу назад! Следите за новостями из мира AI и видео