LiveMemory™ — как создаётся движение и устроен видеоклип

Искусственный интеллект анализирует фотографию и создаёт последовательность кадров, добавляя движение людям, предметам и окружению.

Дети кормят гуся: пример движения людей, животного и всей сцены от MyHeritage.

Начало анимации

Какие сведения даёт один снимок

Поза, взгляд и расположение предметов задают основу движения. Рассмотрим, как эти детали помогают развивать сцену.

Поза, объекты и отношения

Направление взгляда, положение рук, расстояние между участниками и фон задают контекст. На их основе модель формирует движение и взаимодействие объектов.

В примере с детьми и гусём важны сразу несколько элементов: жесты участников, движение птицы и пространство деревянной пристани.

Лицо и взгляд

На фотографии видны текущие черты и направление взгляда. При повороте появляются новые ракурсы: их модель должна создать.

Руки и предметы

Виден один момент контакта. Положение пальцев после движения не хранится в исходнике и может получиться неточным.

Фон и края

Известна только видимая область. Движение камеры может потребовать сцены за краями фотографии.

Взаимодействие

Взаимное положение участников помогает согласовать их действия: направление взгляда, жесты и положение относительно других людей.

От кадра к движению

Как строится видеопоследовательность

Три этапа от исходной фотографии к короткой видеосцене.

01

Исходная сцена

У системы есть видимая фотография и выбранный способ анимации. В исходнике содержится только один момент.

02

Новые положения

Создаются кадры с изменениями поз, предметов и окружения. Некоторые области приходится достраивать.

03

Видеопоследовательность

Связанные кадры создают ощущение движения. Согласованность формы и действий определяет убедительность сцены.

Что помогает воспринимать движение

Для цельного впечатления важны плавность переходов, согласованные жесты и последовательное движение людей, одежды и предметов.

Область анимации

Почему важно смотреть за пределы лица

У LiveMemory предметом анимации является фотография целиком. Поэтому проверять нужно не только мимику.

Два мальчика во дворе: наблюдайте за руками, позами и предметами вокруг, а не только за лицами. Видеопример MyHeritage.
Локальные детали

Движение лица

Глаза и контуры особенно заметны зрителю. Но точная мимика сама по себе не гарантирует целостность остального кадра.

Связи объектов

Жесты и взаимодействие

Руки, одежда и предметы должны сохранять согласованные отношения. Перекрытия требуют внимательного просмотра.

Продолжение пространства

Окружение и камера

При изменении ракурса внимание перемещается между участниками и окружением. Просмотрите, как фон согласуется с движением камеры.

MyHeritage описывает LiveMemory как анимацию всей фотографии. Отдельные инструменты для движения лица решают другую задачу; это не означает, что один подход подходит всем снимкам.

Сравните собственный снимок с анимацией и посмотрите на движение всей сцены.

Попробовать

Подборка скрытой информации

Четыре ситуации, где появляются новые детали

На характер движения влияют видимые детали и выбранный сценарий. Рассмотрим четыре ситуации, где меняется ракурс.

Поворот головы

Часть уха, волос и щёки появляется под новым углом. На исходнике этот ракурс мог отсутствовать.

Выход руки из-за предмета

Скрытая кисть должна получить форму и положение. Именно в таких местах легко заметить артефакты.

Движение одежды

Узор и складки меняются вместе с телом. При большом изменении позы модель создаёт новые сочетания деталей.

Смещение камеры

При перемещении камеры меняется видимая область интерьера или пейзажа. Важно, чтобы окружение согласовывалось с общей сценой.

Параметры готового файла

Как читать характеристики видеоклипа

Параметры помогают понять размер кадра и способ воспроизведения. Их значения смотрите в своём файле, а не переносите с примера на странице.

Основные параметры видео
ПараметрЧто он описывает
РазрешениеШирину и высоту кадра в пикселях. Размер файла в мегабайтах — другая величина.
Соотношение сторонПропорции кадра: насколько он широкий или высокий. При размещении важно сохранять их, чтобы не растянуть изображение.
Частота кадров, FPSКоличество кадров за секунду воспроизведения. Это характеристика последовательности, а не название сценария.
ДлительностьВремя одного клипа. Несколько клипов в монтаже образуют отдельную последовательность.
Формат и контейнерСпособ хранения медиаданных в файле. Например, MP4 — название контейнера; оно не определяет эмоцию или жест в кадре.

Термины описаны по руководству MDN о цифровом видео. Значения разрешения, FPS и длительности проверяйте в свойствах своего файла.

Остались вопросы?

Разберём детали

Вопросы о формате файла, параметрах и преобразовании видео.

Посмотрите на знакомый снимок по-новому

Создайте видеосцену и сравните видимые детали с исходной фотографией.

Попробовать