Перейти к содержимому
shortdramamaker

Сохранение единообразия лица в 24 эпизодах видео с искусственным интеллектом.

Почему ИИ-видео дрейфует между кадрами, три рычага, которые на самом деле блокируют персонажа (подсказка для просмотра, эталонное изображение, исходное изображение), что все еще ломается и как переснять один кадр вместо эпизода.

shortdramamaker editorial 7 минута чтения

Первый вопрос, который задает каждая студия о драме с искусственным интеллектом, заключается не в том, «выглядит ли она реалистично». Это «будет ли это тот же человек в эпизоде ​​19». Зритель прощает слегка пластиковую руку. Они не прощают героя, чья челюсть, линия волос и цвет глаз меняются между сценами — это воспринимается как ошибка, а ошибки разрушают чары.

Вот что на самом деле контролирует согласованность, в порядке воздействия.

Рычаг первый: внешний вид, написанный один раз и никогда не редактируемый.

Подсказка просмотра — это короткий, скучный, конкретный абзац, описывающий только то, что может видеть камера:

Женщина, под двадцать с небольшим, восточная азиатка, овальное лицо, прямые черные волосы до лопаток, тонкие брови, маленькая родинка под левым глазом, серый сшитый на заказ пиджак поверх белой рубашки, никаких украшений, нейтральное выражение лица.

Три правила заставляют подсказки работать:

  1. Только видимые атрибуты. Никакой индивидуальности, никакой предыстории, никакой «уверенности». Модель не может выглядеть уверенно; он может визуализировать угол подбородка.
  2. Только постоянные элементы. Все, что меняется в каждой сцене (мокрые волосы, повязка, пальто), относится к подсказке о кадре, а не к подсказке о взгляде.
  3. Одна идентифицирующая деталь. Родинка, шрам, особая серьга. Это то, что зритель использует для подтверждения личности во всех разрезах, и это то, за что цепляется модель.

Затем каждая подсказка к кадру ссылается на персонажа по имени и дословно наследует подсказку о взгляде. Если вы отредактируете подсказку для просмотра в эпизоде ​​12, в эпизоде ​​1–11 теперь будет другой человек.

Рычаг второй: заблокированное эталонное изображение

Только текст дрейфует. Эталонное изображение закрепляет лицо. Мы сохраняем один канонический кадр для каждого персонажа — нейтральный свет, нейтральное выражение лица, фронтальный — и передаем его при каждом кадре.

Практические замечания:

  • Создайте ссылку в самом высоком разрешении, которое вам когда-либо понадобится. Эталон, который мягче, чем ваш результат, становится потолком.
  • Сохраняйте ссылочное выражение нейтральным. Отсылка к улыбке подталкивает каждый последующий кадр к улыбке, включая сцену похорон.
  • Одна ссылка на символ, а не на папку. Множественные ссылки дают модели выбор, и в разные дни она будет выбирать по-разному.

Рычаг третий: фиксированное начальное число для каждого персонажа.

Семена не являются волшебством, но они бесплатно устраняют один источник отклонений. Исправьте семя для каждого персонажа и меняйте его только тогда, когда вы намеренно хотите вариацию (последовательность снов, воспоминания с другим освещением).

Параметр Зафиксированный Варьируется
Посмотрите быстро ✅ за персонажа —
Эталонное изображение ✅ за персонажа —
Семя ✅ за персонажа на уровне выстрела только тогда, когда намеренно
Подсказка о выстреле — ✅ за выстрел
Освещение/объектив — ✅ за сцену
Гардероб — ✅ за сцену, описанную подробно

Что еще ломается

Честность здесь важнее, чем маркетинг. Вот неудачи, которые мы все еще видим:

  • Очень ракурсы. При съемке в профиль и с низкого ракурса смещение больше, чем при съемке спереди. Запланируйте повторный рендеринг для снимков профиля героя.
  • Руки крупным планом. В кадре 1/8 руки все еще деформируются. Напишите вокруг него: вырежьте лицо или удерживайте объект за пределами кадра.
  • Crowds. Любой кадр с участием более трех человек теряет идентификацию — модель с радостью поменяет местами два отведения. Групповые снимки делайте широкими и короткими.
  • Длится долго. После примерно 12 секунд в одном кадре функции начинают скользить. Именно по этой причине наша единица выстрела составляет 5 секунд; длинные дубли собираются в монтаже, а не генерируются за один проход.
  • Голос на разных языках. Клонированный голос не говорит автоматически на втором языке с тем же тембром. Если вы локализуете, ожидайте, что голос будет переназначен для каждого языка, и заранее сообщите об этом своему клиенту.

Переснять один кадр, а не одну серию

Поскольку кадры рендерятся индивидуально, исправить ошибку не составит труда: определите кадр, отрегулируйте одну переменную (угол, освещение или одно прилагательное в подсказке), повторите рендеринг. Стоимость равна одному кадру — 22 кредитов за 5 секунд в разрешении 1080p, а не ~430 кредитов за 75 секунды стоимости эпизода.

Следующее правило рабочего процесса: никогда не принимайте кадр, который вы бы не показали клиенту, только потому, что остальная часть эпизода уже закончена. Единственное, что кто-либо упомянет, — это перемещающееся лицо в кадре 9.

Ваш первый сезон начнется с 300 бесплатных кредитов.

Достаточно, чтобы взять один полный эпизод и озвучить его первые 20 секунд с голосом и субтитрами. Карта не требуется.

300 кредитов · Карта не требуется · Коммерческие права на платные планы