Jak „Hero” może wzmocnić rynek języków obcych dzięki sztucznej inteligencji

Ponieważ coraz więcej widzów ogląda międzynarodowe programy telewizyjne i filmy w transmisjach na żywo, izraelska firma Adapt Entertainment znalazła programowy sposób, by rozmawiać ze wszystkimi – dosłownie.

Założyciel firmy, Daryl Marks, mówi, że fani często narzekają na słabe dubbingowanie serialu lub filmu. Technologia Adapt łączy sztuczną inteligencję i efekty wizualne, aby płynnie przekształcać dialogi filmowe na język angielski i inne języki.

Niedawno technika ta została wykorzystana w angielskiej transmisji filmu Macieja Barczewskiego „The Champion” – o wojowniku, który musi wygrywać mecze, aby przeżyć w Auschwitz – i ma być później wydany w USA.
ogólny. Barczewski nazywa tę technologię „zmieniaczem gry”. Oryginalny film w języku polskim i niemieckim; Reżyser chciał kręcić po angielsku, ale nie miał na to budżetu.

Mike Seymour, kierownik ds. efektów wizualnych filmu i doradca techniczny Adapt, wyjaśnia akcję i synchronizację po zablokowaniu obrazu.

Ponowne nagrywanie jest zwykle wykonywane przez aktorów głosowych, ale w tym rzadkim przypadku Barczewski był w stanie odzyskać obsadę, aby ponownie nagrać ścieżkę dialogową w języku angielskim. Ścieżka została następnie zsynchronizowana i w pełni przetworzona z oryginalnym filmem, przy użyciu technologii wyświetlania neuronowego AI opartej na systemie oprogramowania PLATO (uczenie fizyki przez Auto Encoder i śledzenie obiektów).

Seymour wyjaśnia proces: „Komputer bada twarz aktora w filmie, a także materiał zarejestrowany podczas ponownego nagrywania nowego dialogu. Następnie, wykorzystując postępy w sztucznej inteligencji i uczeniu maszynowym, cały film zastąpił twarz aktora mówiącą po angielsku. Wszystko jest zbudowane wizualnie z aktorów, którzy nagrywają Dialog w studiu dźwiękowym.

Dzięki połączonym wysiłkom AI i efektów wizualnych PLATO zachowany zostaje oryginalny podtekst wydajności. „Musimy być lojalni wobec ich wydajności, a nie przypadkowych specyfikacji technicznych” – mówi Seymour.

Operacja „Bohater” trwała w sumie trzy miesiące, w tym tydzień dla aktorów
Ponowne nagrywanie ścieżek dialogowych, znacznie obniżające koszt jednego strzału w celu zastąpienia dialogów na dużą skalę.

Seymour zauważa, że ​​firma nie ma zamiaru zastępować tłumaczenia. „Są one bezcenne dla społeczności niedosłyszących” – mówi. Zamiast tego, Adapt ma na celu „otwarcie świata filmów zagranicznych bez odrywania widza od doświadczenia kinowego, w sposób zaprojektowany z poszanowaniem wyborów aktorskich aktorów oraz intencji scenarzystów i twórców. wizja reżysera.”