Российские ученые научили нейросети учитывать течение времени в видео

Российские математики разработали компактный модуль для генеративных нейросетей, который позволяет контролировать частоту кадров и динамику событий при создании видео. Технология помогает искусственному интеллекту учитывать развитие процессов во времени и формировать более естественный ритм сцен. Об этом сообщает ТАСС.

Ранее скорость происходящего в кадре в основном зависела от словесного запроса. При этом напрямую управлять динамикой видео было сложно. Новая надстройка позволяет модели учитывать временное развитие событий и задавать нужную скорость для разных сцен без использования готовых шаблонов.

Существующие системы генерации видео иногда неправильно передают темп происходящего. Быстрые действия могут выглядеть растянутыми, а медленные процессы — чрезмерно ускоренными. Исследователи связывают это в том числе с особенностями архитектуры моделей и тем, что при их обучении больше внимания уделяется внешнему виду отдельных кадров, чем физической достоверности движения.

Новый модуль состоит из двух независимых блоков. Один управляет частотой кадров, второй отвечает за динамику событий в сцене. Для его обучения ученые подготовили 40 тысяч видеороликов с различными характеристиками движения, включая сцены с людьми и медленные природные процессы.

Разработка может работать в двух режимах. В первом она подключается к уже обученной модели и повышает плавность движений, не меняя общий характер видео. Во втором модуль дообучается вместе с генеративной нейросетью, благодаря чему можно корректировать как плавность, так и физику происходящего.

Технологию протестировали на моделях Kandinsky 5.0 Video Lite и Wan2.2. По результатам испытаний естественность движений выросла на 29%, визуальное качество — на 8%, а соответствие видео текстовому запросу — на 19%.

По словам управляющего директора по исследованию данных Сбера Дениса Димитрова, управление ритмом событий является важным условием для обучения физического искусственного интеллекта и будущих моделей мира, сообщает "Самара Онлайн 24".