ПонедельникПн, 16 ноября 11:52 16+
Сейчас  °C
USD$ 82,15 EUR€ 91,03

Камера, мотор, начали! Сбер представил Kandinsky Video — первую в России нейросеть для генерации полноценного видео

22 ноября 2023 года, 14:09

erid: 4CQwVszH9pWuK6PGR3A

Сбер представил нейросеть Kandinsky Video — первую в России генеративную модель для создания полноценных видеороликов по текстовому описанию. Модель генерирует видеоряд продолжительностью до восьми секунд с частотой 30 кадров в секунду. Об этом в ходе международной конференции AI Journey рассказал первый заместитель Председателя Правления Сбербанка Александр Ведяхин.

Архитектура Kandinsky Video состоит из двух ключевых блоков: первый отвечает за создание ключевых кадров, из которых складывается структура сюжета видео, а второй — за генерацию интерполяционных кадров, которые позволяют достичь плавности движений в финальном видео. В основе двух блоков лежит новая модель синтеза изображений по текстовым описаниям Kandinsky 3.0.

Формат сгенерированного видео представляет собой непрерывную сцену с движением как объекта, так и фона. Именно это отличает видеоролики, синтезированные моделью Kandinsky Video, от анимационных видеороликов, в которых динамика достигается за счёт моделирования пролёта камеры относительно статичной сцены. Нейросеть создаёт видеоролики с разрешением 512×512 пикселей и различным соотношением сторон. Модель обучена на датасете из более чем 300 тыс. пар «текст — видео». Генерация видео занимает до трёх минут.

Александр Ведяхин, первый заместитель Председателя Правления Сбербанка:

«Недавно мы обучили Kandinsky создавать анимационные видео по текстовому описанию, а уже сегодня представляем модель совершенно другого уровня — первую в России модель по генерации полноценных видеороликов по тексту. Это важный вклад в развитие российских генеративных нейросетей. У пользователей появится ещё больше возможностей для креатива и реализации своих творческих задумок любой направленности. Люди смогут создавать уникальные видеоролики абсолютно бесплатно. Наша модель, как и большинство других в линейке Сбера, будет доступна в open source. Мы верим, что искусственный интеллект сможет открыть перед людьми новые супервозможности и создать инструменты, которыми они будут пользоваться для решения своих задач».

Ранее у активных пользователей Kandinsky 2.2 в тестовом режиме появилась возможность создания анимационных видеороликов. По одному запросу можно создать видео длиной в четыре секунды с выбранным эффектом анимации, с частотой 24 кадра в секунду и разрешением 640×640 пикселей. Пользователи нейросети Kandinsky 3.0 также могут создавать видеоролики по текстовому описанию в режиме анимации.

Оценить возможности нейросети Kandinsky Video можно на платформе fusionbrain. ai и в Telegram-боте, где можно оставить заявку на доступ.

Нейросеть разработали и обучили исследователи Sber AI при партнёрской поддержке учёных из Института искусственного интеллекта AIRI на объединённом датасете Sber AI и компании SberDevices. В апреле 2023 года сервис на базе нейросети Kandinsky 2.1, стал самым быстрорастущим в мире. Он набрал один миллион уникальных пользователей всего за четыре дня после выхода.

Реклама. ПАО Сбербанк. ИНН 7707083893

баннер vk
Смотрите также
Картина дня
Рекомендуем
Культура
Единственную сохранившуюся мозаику из Янтарной комнаты привезли в Нижний Новгород
Она вошла в состав экспозиции «Царское Село. Шедевры императорской резиденции» в НГХМ.
Общество
Игорь Мокичев: нельзя надеяться только на правоохранительные органы, нужно иметь ответственность и самому
Прокурор Нижнего Новгорода рассказал о приоритетных направлениях работы.
Эксклюзив
Вероника Деменюк: «Сколько людей, столько и разных опытов чтения, самое главное — уметь говорить, находить контакт в диалоге, хотя бы по диагонали»
Шестая встреча цикла семинаров «Диагонали» (18+) пройдет в Центре современного искусства «Терминал А» 22 ноября. Организаторы «Диагоналей» Вероника Деменюк и Артем Фейгельман рассказали о том, что для них значат эти встречи, и кто может принять в них участие.
Общество
Врач Варламова объяснила, почему нельзя принимать антибиотики самостоятельно
Главная угроза — формирование устойчивости бактерий к препаратам.

Самые интересные
новости и эксклюзивы —
в нашем канале МАХ

Подписаться