Липсинк и консистентность: как не ломать лицо персонажа

Липсинк — это не «магическая кнопка», а сведение трёх сигналов: визуального ряда, фонемной дорожки и таймингов монтажа. Когда что‑то из этого тройного набора плавает, зритель мгновенно считывает фальшь.

Сначала текст и чтение, потом рот

Надёжный порядок работы:

1. Зафиксировать реплику и темп (даже если потом подрежете паузы).
2. Синтезировать или записать чистую диалоговую дорожку.
3. Подобрать опорный кадр лица — крупный план или средний, где геометрия рта читается.
4. Запустить липсинк и сравнить два-три варианта по краям губ и челюсти.

Откуда берутся «жидкие» губы

Чаще всего виноваты не «плохие нейросети», а входные данные: низкое разрешение лица, резкая смена ракурса внутри одного клипа, конфликт между освещением на кадре и тем, как модель «видит» объём. Стабильный свет на лице решает больше, чем десять страниц промпта.

Консистентность между шотами

Единый персонаж в разных сценах держится на наборе якорей: референс лица, фиксированные черты в библии (причёска, шрам, очки), повторяемая цветовая температура. Если каждый шот генерировать «с нуля» без этих опор, зритель подсознательно воспринимает смену актёра.

В Levsha библия и история кадров как раз помогают не скатываться в «каждый раз новый человек».

---

Дополнение: материал о кастинге голосов и промптах для TTS.