admin 
Reuters20. mai 2021 00:17:14 IST
Av Rollo Ross
LOS ANGELES (Reuters) – Dårlig leppesynkronisering i dubbing og undertekster kan utsette publikum og skade billettkontoret på utenlandske filmer.
AI kan være i ferd med å endre alt det.
Start-up Flawless AI, medstifter av filmregissør Scott Mann, har et verktøy som det sier kan gjenskape lip sync nøyaktig i dubbing uten å endre skuespillernes ytelse.
Verktøyet studerer hvordan skuespillere beveger munnen og bytter ut bevegelsene i henhold til de kalt ordene på forskjellige språk, noe som får det til å virke som Tom Hanks kan snakke japansk eller Jack Nicholson behersker fransk.
Mann ble inspirert til å komme med verktøyet da han så hvordan dubbing påvirket den narrative sammenhengen i filmen hans “Heist” fra 2015, med Robert De Niro i hovedrollen.
– Jeg hater dubbing slik den ser ut, sa han til Reuters. “Du må endre så mange ting for å prøve å få synkronisering. Du skifter ord filmskapere og artister har tenkt så dypt på. De blir kastet ut for å finne et annet ord som passer, men det gjør det egentlig ikke.”
Mann bestemte seg for å gjøre noe med dette iøynefallende misforholdet. Etter litt undersøkelser oppdaget han en oppskrift av Christian Theobalt fra Max Planck Institute for Informatics, der han la fram en ny tilnærming som bruker kunstig intelligens til å gjenskape foto-virkelige menneskelige visuelle effekter.
Verktøyet arbeidet med å oversette en De Niro-scene i “Heist”.
“Det er i stand til å ta en” ooh “-lyd fra De Niro 20 minutter tidligere og plassere det i et annet øyeblikk i filmen,” forklarte Mann. “Den måler samtidig og blander den slik at forestillingen blir den samme, men det er en annen munnbevegelse.”
Feilfri AI jobber nå med produsenter og studioer for å integrere teknologien i etterproduksjon. De første filmene som bruker dette verktøyet, er rundt et år unna.
Mann tror at denne teknologien vil være en spillveksler som vil bidra til å utrydde fremmedspråklige kategorier på prisutstillinger og skape en mer inkluderende filmindustri med en virkelig global scene.
“Fra et filmskapersynspunkt vil du se fremveksten av et mye mer variert utvalg av stjerner,” sa han.
Det kan være en dissonans og fokus på AI-teknologien i begynnelsen da den ble introdusert, men til slutt håper Mann bruken vil være sømløs.
“Når det er en vanlig ting, kommer vi ikke til å tenke på det lenger, og vi vil bare kose oss med filmene,” sa han.
(Rapportering av Rollo Ross; Skrift av Karishma Singh; Klipp av Lisa Shumaker)
Denne historien er ikke redigert av Firstpost-ansatte og er generert av automatisk feed.
