Сбер открыл бесплатный доступ к модели для говорящих видеоаватаров

Сбер открыл доступ к семейству моделей Kandinsky Avatar 1.0, которые создают говорящие видеоаватары по фотографии и аудиозаписи, а код и веса можно бесплатно использовать в том числе в коммерческих проектах. Модель делает видео до одной минуты с частотой 24 кадра в секунду и оживляет людей, животных и мультипликационных персонажей.

Для ролика нужны изображение, запись голоса и короткое текстовое описание сцены: нейросеть синхронизирует движения губ с речью, добавляет мимику, повороты головы и жесты, а эмоции задаются текстовой командой. Модель не синтезирует и не клонирует голос, а использует только предоставленную пользователем запись; код и веса доступны под лицензией MIT на GitHub, GitVerse и Hugging Face, запуск возможен через ComfyUI и Diffusers.