Abi modeļi katrs vienā rindkopā
OmniHuman 2.0 ir ByteDance izstrādāts uz audio balstīts cilvēku video modelis. Tu iedod tam vienu fotogrāfiju un vienu balss ierakstu, un cilvēks fotogrāfijā runā vai dzied ar atbilstošām lūpu, sejas un roku kustībām. Tas pieņem arī rakstiskas norādes, tāpēc vari pateikt cilvēkam, ko darīt runāšanas laikā, piemēram, paskatīties uz augšu un beigās pasmaidīt. Tas tiek galā gan ar tuvplāniem, gan pilna auguma kadriem no viena attēla, un tas der gan runājamam tekstam, gan dziedošajām kartītēm.
LTX 2.5, konkrēti LTX 2.5 Pro, ir Lightricks veidots video modelis kinematogrāfiskiem klipiem. Tā vietā, lai koncentrētos tikai uz cilvēku, tas pieiet ģenerēšanai kā filmas režisors, pārvaldot kadrējumu, apgaismojumu un kameras kustību ap runātāju. Doppelshot lietotnē tas darbojas kā uz audio balstīts runāšanas dzinējs, kur tava izvēlētā balss ierunā tekstu, modelis atdzīvina fotogrāfiju iekadrētā ainā, un pēc tam tiek piejaukts telpas fona troksnis. Tas ir radīts īsiem, kinematogrāfiskiem runājošiem klipiem, kuros apkārtējā aina ir tikpat svarīga kā vārdi.
Lūpu sinhronizācija un seja
Kad runājošo foto modeļu salīdzinājumā meklē labāko lūpu sinhronizācijas modeli, abi dzinēji sāk no viena un tā paša pamata: tos vada audio. Neviens no modeļiem nekustina muti nejauši un nemēģina vārdus pielāgot vēlāk. Tā vietā balss ieraksts ir pirmais, un video tiek būvēts ap skaņu.
Ar OmniHuman 2.0 lūpas, elpa un sejas izteiksmes tieši seko balss ierakstam. Tā kā tas seko audio ritmam un elpošanai, tas tiek galā gan ar parastu runu, gan muzikālo frāzējumu. Tieši tāpēc tas spēj iznest gan runātu monologu, gan arī labi izskatīties, kad fotogrāfija dzied džinglu vai pielāgotu dziesmu.
LTX 2.5 arī piesaista lūpu un sejas kustības balss ierakstam, vienlaikus saglabājot tavu līdzību no iesniegtās fotogrāfijas. Abiem modeļiem ir svarīga sākotnējā attēla kvalitāte. Skaidrs pašportrets no priekšpuses, kurā redzama mute, nodrošina visstabilāko līdzību un tīrāko lūpu sinhronizāciju. Īsi teikumi arī parasti izklausās un izskatās dabiskāk nekā gari un sarežģīti teikumi.
Kustība: galva, rokas, ķermenis
Runājoša fotogrāfija neizdodas, ja mute kustas, bet pārējais cilvēks izskatās sastindzis. OmniHuman 2.0 un LTX 2.5 šo problēmu risina divos dažādos veidos: viens koncentrējas uz cilvēka ķermeņa valodu, bet otrs uz kameras un ainas kustību.
OmniHuman 2.0 ir būvēts izteiksmīgai runai ar žestiem. Tas kustina galvu, seju un rokas vienā ritmā ar audio celiņu, strādājot gan ar tuvplāna portretu, gan pilna auguma fotogrāfiju. Tā īpašā iezīme ir spēja saprast skatuves norādes vienkāršos vārdos. Atšķirībā no vairuma runāšanas dzinēju, kas tikai nolasa audio, OmniHuman ļauj tev uzrakstīt, ko cilvēks dara runāšanas laikā, piemēram, pagriež galvu, paskatās uz augšu vai pasmaida teksta beigās.
LTX 2.5 pieiet kustībai kā kameras operators un gaismu mākslinieks. Kamēr tas kustina lūpas un seju atbilstoši runai, tas arī atdzīvina visu kadru ap cilvēku. Tas veido kadru caur kompozīciju, gaismu un kameras kustību. Tā kā LTX renderē pilnu ainu ap cilvēku, nevis tikai animē runātāju, viena reize maksā vairāk nekā 10 sekunžu OmniHuman klips. Lietotnē cena ir redzama pirms palaišanas, un tu vari apskatīt, kā darbojas kredītu pakas, cenu lapā.
Balss: gatavs audio vai modeļa radīta balss
Salīdzinot OmniHuman 2.0 un LTX 2.5 atvērtajā tirgū, cilvēki bieži pamana, ka OmniHuman kā ievadi pieņem audio failu, kamēr LTX var pats ģenerēt savu audio un ainas skaņu. Doppelshot lietotnē darba plūsma ir vienota, lai tu vienmēr kontrolētu precīzu balsi un tekstu.
Lietotnē abi modeļi darbojas kā uz audio balstīti dzinēji, ko darbina ElevenLabs balsīm un džingliem, un Mureka pielāgotām dziesmām. Tu uzraksti savu tekstu, un runas valoda seko tam, ko esi ierakstījis. Vari izvēlēties no aptuveni 30 bibliotēkas balsīm vai arī izmantot savas balss klonu, vienreiz lietotnē ierakstot īsu piekrišanas klipu. Ja izmanto OmniHuman 2.0 un atstāj balss iestatījumu uz Auto, balss automātiski pielāgojas fotogrāfijā redzamajam cilvēkam.
Audio atšķirība parādās procesa beigās. OmniHuman 2.0 stingri koncentrējas uz to, lai saskaņotu cilvēka elpu, lūpas un žestus ar balss vai dziesmas ierakstu. LTX 2.5 vispirms izmanto šo balss ierakstu, lai animētu seju un kadru, un pēc tam piejauc telpas fona skaņu, lai klips izklausītos tā, it kā būtu ierakstīts īstā telpā. Ja vēlies izlasīt soli pa solim instrukcijas balss vai dziesmas iestatīšanai, apskati ceļvedi par to, kā likt fotogrāfijai runāt vai dziedāt.
Garums un formāts
Garums ir viens no skaidrākajiem veidiem, kā izvēlēties starp abiem dzinējiem. Ja tev ir sakāmi vairāk nekā pāris teikumi, tavam tekstam derēs tikai viens no šiem diviem modeļiem.
LTX 2.5 izveido vienu klipu līdz 9 sekundēm. Praksē tajā ietilpst aptuveni 25 runāta teksta vārdi. Tas ir būvēts vienam ciešam kadram vertikālā formātā vai kā viens runāts fragments vairāku kadru video.
OmniHuman 2.0 ir būvēts garākam tekstam. Tas darbojas 10 sekunžu blokos un atbalsta 10, 20 un 30 sekunžu tekstus par vienādu likmi uz katrām 10 sekundēm. Starp citiem lietotnē pieejamajiem MI modeļiem citi runāšanas dzinēji var sasniegt pat 60 sekundes, un dziedošie video darbojas kā 10 sekunžu vertikāli klipi, kas ir gatavi TikTok, Reels un Shorts platformām.
Kurš modelis kurai kartītei
Katra kartīte Doppelshot lietotnē darbojas ar noklusējuma modeli, kas izvēlēts konkrētajam uzdevumam, un Studio ļauj tev pārslēgties uz citu dzinēju, ja vēlies citādu izskatu. Kad pārslēdz dzinējus vai maini garumu, cena tiek parādīta pirms palaišanas, un visa informācija ir pieejama cenu lapā.
Kartītei Pasaki to ir pieejami abi modeļi. Izmanto OmniHuman 2.0, kad vēlies izteiksmīgu runu, roku žestus, rakstiskas norādes par cilvēka darbībām vai tekstu, kas ilgst līdz 30 sekundēm. Tas ir arī lētākais no abiem variantiem. Pārslēdzies uz LTX 2.5, kad tavs teksts ir īsāks par 25 vārdiem un tu vēlies kinematogrāfisku kadru, apgaismojumu un kameras kustību ap runātāju.
Dziedošajām kartītēm, piemēram, Ballītes laiks, visu darbu paveic OmniHuman 2.0 dzinējs. LTX 2.5 netiek izmantots dziedošajām kartītēm. Ar OmniHuman tava fotogrāfija nodzied gatavu 10 sekunžu džinglu vai pielāgotu 10 sekunžu dziesmu, ko uzģenerē lietotnē.
Kartīte Trīs emocijas, kurā viena un tā pati fotogrāfija pasaka frāzi trīs veidos, darbojas uz trešā dzinēja, HeyGen Avatar 4. Savukārt Video Studio režīmā LTX 2.5 nāk talkā ikreiz, kad runājošam kadram ir nepieciešama pilna aina ap varoni. Kad apgaismojums, kameras kustība un telpas skanējums ir tikpat svarīgi kā pateiktā frāze, kadru veido LTX.
Biežāk uzdotie jautājumi
Man izvēlēties OmniHuman 2.0 vai LTX 2.5 runājošam video?
Izvēlies OmniHuman 2.0 izteiksmīgai runai ar roku žestiem, tekstiem no 10 līdz 30 sekundēm vai dziedāšanai. Izvēlies LTX 2.5, kad tavs teksts ir līdz 9 sekundēm (aptuveni 25 vārdi) un tu vēlies kinematogrāfisku kadru ar kameras kustību, apgaismojumu un telpas skanējumu ap cilvēku.
Kāpēc LTX 2.5 maksā vairāk nekā OmniHuman 2.0?
LTX 2.5 renderē pilnu ainu ap cilvēku, ieskaitot apgaismojumu un kameras kustību, nevis tikai animē pašu runātāju. OmniHuman 2.0 ir maciņam draudzīgāks variants runājošiem video un pareizā izvēle garākiem tekstiem. Lietotnē cena ir redzama pirms palaišanas.
Vai es varu izmantot savu balsi ar abiem modeļiem?
Jā. Abi modeļi ļauj izvēlēties no aptuveni 30 bibliotēkas balsīm vai vienreiz lietotnē ierakstīt īsu piekrišanas klipu, lai klonētu savu balsi. Tava klonētā balss pēc tam darbojas visās runājošajās kartītēs.
Kāds pašportrets nodrošina vislabāko lūpu sinhronizāciju?
Skaidra pieauguša cilvēka fotogrāfija no priekšpuses, kurā ir redzama mute, abos modeļos sniedz visstabilāko līdzību un visprecīzākās lūpu kustības. Turklāt īsi teikumi izskatās dabiskāk nekā gari.
