Alibaba обновила свою нейросеть для генерации видео

Китайская Alibaba выпустила обновлённую версию своей модели для генерации видео HappyHorse 1.1. Новая система научилась создавать «более плавные движения, лучше понимать команды пользователя и делать картинку значительно более натуральной», пишут СМИ.

Как и предыдущая версия, новинка умеет генерировать клипы длительностью от 3 до 15 секунд в качестве вплоть до Full HD и с любым соотношением сторон.

Разработчики переработали алгоритмы движения: теперь персонажи и предметы якобы двигаются естественно. Модель стала гораздо лучше удерживать образ героя или товара на протяжении всего ролика. Также нейросеть лучше понимает сложные описания.

Особое внимание уделили качеству лиц. ИИ теперь рисует кожу без «пластика» и «масла». Кроме того, звук в роликах стал лучше синхронизироваться с движениями губ, а фоновые шумы и музыка подбираются «осмысленнее».