De to modeller i ét afsnit hver
OmniHuman 2.0 er ByteDances lydstyrede videomodel til mennesker. Du giver den ét billede og ét lydspor med stemme, og personen på billedet taler eller synger med matchende læber, ansigt og hænder. Den tager også imod en skriftlig instruks, så du kan fortælle personen, hvad vedkommende skal gøre, mens der tales, som at kigge op og derefter smile til sidst. Den klarer både nærbilleder og billeder i fuld figur ud fra et enkelt billede, og den fungerer til både talte manuskripter og sangkort.
LTX 2.5, helt præcist LTX 2.5 Pro, er videomodellen bygget af Lightricks til filmiske klip. I stedet for kun at fokusere på personen, behandler den genereringen som en filminstruktør og styrer billedudsnit, lyssætning og kamerabevægelse omkring den talende. I Doppelshot kører den som en lydstyret talemotor, hvor din valgte stemme læser manuskriptet op, modellen animerer billedet i et indrammet skud, og rumklang mixes ind bagefter. Den er bygget til korte, filmiske taleklip, hvor scenen omkring betyder lige så meget som ordene.
Lip sync og ansigt
Når du leder efter den bedste lip sync-model i en sammenligning af modeller til talende billeder, starter begge motorer fra samme fundament: de er lydstyrede. Ingen af modellerne bevæger munden tilfældigt og forsøger at passe ord ind bagefter. I stedet kommer stemmesporet først, og videoen bygges op omkring lyden.
Med OmniHuman 2.0 følger læberne, vejrtrækningen og ansigtsudtrykkene stemmesporet direkte. Fordi den sporer rytmen og vejrtrækningen i lyden, klarer den både almindelig tale og musikalske fraseringer. Det er derfor, den kan bære en talt monolog og også holde, når et billede synger en jingle eller en skræddersyet sang.
LTX 2.5 låser også sine læbe- og ansigtsbevægelser til stemmesporet, mens den bevarer din lighed fra det billede, du uploader. For begge modeller har kvaliteten af inputbilledet betydning. En skarp selfie taget forfra, hvor munden er synlig, giver den mest stabile lighed og den reneste lip sync. Korte sætninger har også en tendens til at lyde og se mere naturlige ud end lange, kringleri sætninger.
Bevægelse: hoved, hænder, krop
Et talende billede falder igennem, hvis munden bevæger sig, mens resten af personen ser frossen ud. OmniHuman 2.0 og LTX 2.5 løser dette problem på to forskellige måder: den ene fokuserer på menneskeligt kropssprog, og den anden fokuserer på kamera- og scenebevægelse.
OmniHuman 2.0 er bygget til udtryksfuld tale med fagter. Den bevæger hovedet, ansigtet og hænderne i takt med lydsporet og fungerer på enten et portræt tæt på eller et billede i fuld figur. Dens særlige funktion er, at den tager imod sceneinstruktioner i almindelige ord. I modsætning til de fleste talemotorer, der kun aflæser lyden, lader OmniHuman dig skrive, hvad personen gør, mens der tales, som at dreje hovedet, kigge op eller smile i slutningen af en replik.
LTX 2.5 går til bevægelse som en kameramand og lysmester. Mens den bevæger læberne og ansigtet, så det passer til talen, animerer den også hele billedrammen omkring personen. Den beskriver et skud gennem billedudsnit, lys og en kamerabevægelse. Fordi LTX renderer en hel scene omkring motivet i stedet for kun at animere den talende, koster den mere pr. kørsel end et klip på 10 sekunder med OmniHuman. I appen vises prisen, før du starter, og du kan se, hvordan kreditpakker fungerer, på siden med priser.
Stemme: lyd ind, eller stemme skabt af modellen
Når man sammenligner OmniHuman 2.0 og LTX 2.5 på det åbne marked, bemærker folk ofte, at OmniHuman tager en lydfil som input, mens LTX kan generere sin egen lyd og scenelyd. I Doppelshot er arbejdsgangen samlet, så du altid styrer den præcise stemme og det præcise manuskript.
I appen kører begge modeller som lydstyrede motorer drevet af ElevenLabs til stemmer og jingler, og Mureka til skræddersyede sange. Du skriver dit manuskript, og sproget i talen følger den tekst, du taster. Du kan vælge mellem omkring 30 stemmer i biblioteket, eller du kan bruge en klon af din egen stemme efter at have optaget et kort samtykkeklip én gang i appen. Hvis du bruger OmniHuman 2.0 og lader stemmeindstillingen stå på Auto, følger stemmen automatisk den person, der vises på billedet.
Forskellen i lyd kommer i slutningen af processen. OmniHuman 2.0 fokuserer strengt på at matche personens vejrtrækning, læber og fagter til stemme- eller sangsporet. LTX 2.5 bruger først stemmesporet til at animere ansigtet og billedet og mixer derefter rumklang ind bagefter, så klippet lyder, som om det er optaget i et fysisk rum. Hvis du vil læse trin-for-trin-vejledningen til opsætning af en stemme eller sang, kan du se guiden til, hvordan du får et billede til at tale eller synge.
Længde og format
Længden er en af de tydeligste måder at vælge mellem de to motorer på. Hvis du har mere end et par sætninger at sige, vil kun én af disse to modeller passe til dit manuskript.
LTX 2.5 laver ét klip på op til 9 sekunder. I praksis passer det til omkring 25 ords talt manuskript. Den er bygget til et enkelt, stramt skud i vertikalt format eller som ét talt øjeblik i en video med flere skud.
OmniHuman 2.0 er bygget til længere leveringer. Den kører i blokke på 10 sekunder og understøtter manuskripter på 10, 20 og 30 sekunder til samme pris pr. 10 sekunder. På tværs af de øvrige AI-modeller i appen kan andre talemotorer gå op til 60 sekunder, og sangvideoer kører som vertikale klip på 10 sekunder klar til TikTok, Reels og Shorts.
Hvilken model til hvilket kort
Hvert kort i Doppelshot kører på en standardmodel, der er valgt til netop den opgave, og i Studio kan du skifte til en anden motor, hvis du ønsker et andet udtryk. Når du skifter motor eller ændrer længden, vises prisen, før du starter, med alle detaljer på siden med priser.
Til kortet Sig det er begge modeller tilgængelige. Du bruger OmniHuman 2.0, når du vil have udtryksfuld tale, håndbevægelser, en skriftlig instruks til hvordan personen agerer, eller et manuskript, der varer op til 30 sekunder. Det er også den billigste af de to muligheder. Du skifter til LTX 2.5, når dit manuskript er på under 25 ord, og du vil have et filmisk billedudsnit, lyssætning og kamerabevægelse omkring den talende.
Til sangkort som Festtid er det OmniHuman 2.0, der gør arbejdet. LTX 2.5 bruges ikke til sangkort. Med OmniHuman synger dit billede en fast jingle på 10 sekunder eller en skræddersyet sang på 10 sekunder, som du genererer i appen.
Kortet Tre følelser, hvor det samme billede leverer en replik på tre måder, kører på en tredje motor, HeyGen Avatar 4. I Video Studio kommer LTX 2.5 i spil, når et taleskud kræver en hel scene omkring karakteren. Når lyssætning, kamerabevægelse og rumklang betyder lige så meget som den talte replik, klarer LTX skuddet.
Ofte stillede spørgsmål
Skal jeg vælge OmniHuman 2.0 eller LTX 2.5 til en talevideo?
Vælg OmniHuman 2.0 til udtryksfuld tale med håndbevægelser, til manuskripter på mellem 10 og 30 sekunder eller til sang. Vælg LTX 2.5, når dit manuskript er på op til 9 sekunder (omkring 25 ord), og du vil have et filmisk billedudsnit med kamerabevægelse, lyssætning og rumklang omkring personen.
Hvorfor koster LTX 2.5 mere end OmniHuman 2.0?
LTX 2.5 renderer en komplet scene omkring personen, inklusive lyssætning og kamerabevægelse, frem for kun at animere den talende. OmniHuman 2.0 er den billigere løsning til talevideoer og det rette valg til længere manuskripter. I appen vises prisen, før du starter.
Kan jeg bruge min egen stemme med begge modeller?
Ja. Begge modeller lader dig vælge mellem omkring 30 stemmer i biblioteket eller optage et kort samtykkeklip én gang i appen for at klone din egen stemme. Din klonede stemme virker derefter på tværs af alle talekort.
Hvilken slags selfie giver den bedste lip sync?
Et skarpt billede taget forfra af en voksen, hvor munden er synlig, giver den mest stabile lighed og de mest præcise læbebevægelser på begge modeller. Korte sætninger ser også mere naturlige ud end lange.
