Kaks mudelit ühe lõiguga
OmniHuman 2.0 on ByteDance'i helipõhine inimvideo mudel. Annad sellele ühe foto ja ühe heliraja ning fotol olev inimene räägib või laulab nii, et huuled, nägu ja käed liiguvad heliga kaasa. Mudel võtab vastu ka kirjalikke juhiseid, nii et saad inimesele ette öelda, mida rääkimise ajal teha, näiteks vaadata üles ja lõpus naeratada. See saab ühe pildi põhjal hakkama nii lähivõtete kui ka täispikkuses kaadritega ning sobib nii rääkivate tekstide kui ka laulukaartide jaoks.
LTX 2.5, täpsemalt LTX 2.5 Pro, on Lightricksi loodud videomudel filmilike klippide jaoks. Selle asemel, et keskenduda ainult inimesele, läheneb see video loomisele nagu filmirežissöör, juhtides kadreeringut, valgustust ja kaamera liikumist kõneleja ümber. Doppelshotis töötab see helipõhise kõnemootorina, kus sinu valitud hääl loeb teksti ette, mudel animeerib foto kadreeritud võtte sees ja lõpus lisatakse ruumiheli. See on loodud lühikeste filmilike kõneklippide jaoks, kus ümbritsev stseen on sama oluline kui sõnad.
Huulte sünkroonimine ja nägu
Kui otsid rääkivate fotode mudelite võrdluses parimat huulte sünkroonimise mudelit, alustavad mõlemad mootorid samalt vundamendilt: need on helipõhised. Kumbki mudel ei liiguta suud huupi ega ürita sõnu hiljem juurde sobitada. Kõigepealt tuleb helirada ja video ehitatakse heli ümber.
OmniHuman 2.0 puhul järgivad huuled, hingamine ja näoilmed otse helirada. Kuna mudel jälgib heli rütmi ja hingamist, saab see hakkama nii tavalise kõne kui ka muusikalise fraseerimisega. Just seetõttu suudab see välja kanda räägitud monoloogi ja toimib hästi ka siis, kui foto laulab kõlli või spetsiaalselt loodud laulu.
LTX 2.5 lukustab samuti huulte ja näo liikumise heliraja külge, säilitades samal ajal sinu välimuse üleslaaditud fotolt. Mõlema mudeli puhul on sisendpildi kvaliteet oluline. Selge, otsevaates selfi, kus suu on näha, annab kõige ühtlasema sarnasuse ja puhtaima huulte sünkroonimise. Lühikesed laused kõlavad ja näivad samuti loomulikumad kui pikad ja keerulised laused.
Liikumine: pea, käed, keha
Rääkiv foto ei mõju usutavalt, kui suu liigub, aga ülejäänud inimene on tardunud. OmniHuman 2.0 ja LTX 2.5 lahendavad selle probleemi kahel erineval viisil: üks keskendub inimese kehakeelele ning teine kaamera ja stseeni liikumisele.
OmniHuman 2.0 on loodud ilmeka ja žestidega kõne jaoks. See liigutab pead, nägu ja käsi helirajaga samas rütmis, töötades nii lähiportree kui ka täispikkuses fotoga. Selle eripära on see, et mudel mõistab lihtsas keeles kirjutatud lavastusjuhiseid. Erinevalt enamikust kõnemootoritest, mis loevad ainult heli, laseb OmniHuman sul kirja panna, mida inimene rääkimise ajal teeb, näiteks pöörab pead, vaatab üles või naeratab lause lõpus.
LTX 2.5 läheneb liikumisele nagu kaameramees ja valgusmeister. Samal ajal kui see liigutab huuli ja nägu kõne järgi, animeerib see ka kogu kaadri inimese ümber. Mudel kujundab võtte läbi kadreeringu, valguse ja kaamera liikumise. Kuna LTX renderdab inimese ümber terve stseeni, mitte ei animeeri ainult kõnelejat, maksab see ühe korra kohta rohkem kui 10-sekundiline OmniHumani klipp. Äpis näed hinda enne käivitamist ning krediidipakettide toimimist saad vaadata hinnakirja lehelt.
Hääl: heli sisendina või mudeli loodud hääl
Kui võrreldakse mudeleid OmniHuman 2.0 vs LTX 2.5 vabal turul, tuuakse tihti välja, et OmniHuman võtab sisendiks helifaili, samas kui LTX suudab ise luua nii hääle kui ka stseeni taustaheli. Doppelshotis on töövoog ühtlustatud, et sul oleks alati täielik kontroll täpse hääle ja teksti üle.
Äpis töötavad mõlemad mudelid helipõhiste mootoritena, mida toetab häälte ja kõllide jaoks ElevenLabs ning kohandatud laulude jaoks Mureka. Sina kirjutad oma teksti ja kõne keel järgib seda teksti, mille sisestad. Saad valida umbes 30 valmishääle vahel või kasutada oma hääle klooni pärast seda, kui oled äpis ühe korra lühikese nõusolekuklipi salvestanud. Kui kasutad mudelit OmniHuman 2.0 ja jätad hääle seadeks Auto, valitakse hääl automaatselt fotol oleva inimese järgi.
Heli erinevus tuleb esile protsessi lõpus. OmniHuman 2.0 keskendub rangelt sellele, et sobitada inimese hingamine, huuled ja žestid hääle- või laulurajaga. LTX 2.5 võtab kõigepealt selle hääleraja näo ja kaadri animeerimiseks ning segab seejärel juurde ruumiheli, et klipp kõlaks nagu päris ruumis salvestatud. Kui tahad lugeda samm-sammult juhiseid hääle või laulu seadistamiseks, vaata juhendit, kuidas panna foto rääkima või laulma.
Pikkus ja formaat
Pikkus on üks selgemaid viise kahe mootori vahel valimiseks. Kui sul on öelda rohkem kui paar lauset, sobib sinu tekstiga ainult üks neist kahest mudelist.
LTX 2.5 teeb ühe kuni 9-sekundilise klipi. Praktikas mahutab see umbes 25 sõna räägitud teksti. See on loodud üheks kompaktseks võtteks vertikaalses formaadis või üheks kõnelõiguks mitmest kaadrist koosnevas videos.
OmniHuman 2.0 on loodud pikemate tekstide jaoks. See töötab 10-sekundiliste plokkidena ning toetab 10-, 20- ja 30-sekundilisi tekste sama hinnaga iga 10 sekundi kohta. Laiemas valikus äpi AI mudelite seas ulatuvad teised kõnemootorid kuni 60 sekundini ning lauluvideod valmivad 10-sekundiliste vertikaalsete klippidena, mis on valmis platvormidele TikTok, Reels ja Shorts.
Kumb mudel millise kaardi jaoks
Iga kaart Doppelshotis töötab vaikimisi mudelil, mis on selle ülesande jaoks valitud, ning Stuudio laseb sul lülituda teisele mootorile, kui soovid teistsugust tulemust. Kui vahetad mootorit või muudad pikkust, kuvatakse hind enne käivitamist ning täpsem info on hinnakirja lehel.
Kaardi Ütle välja puhul on saadaval mõlemad mudelid. Kasuta mudelit OmniHuman 2.0, kui soovid ilmekat kõnet, käeliigutusi, kirjalikke juhiseid inimese tegevuse jaoks või teksti, mis kestab kuni 30 sekundit. See on ka kahest valikust soodsam. Lülitu mudelile LTX 2.5, kui sinu tekst on alla 25 sõna ning soovid filmilikku kaadrit, valgustust ja kaamera liikumist kõneleja ümber.
Laulukaartide, nagu Peoaeg puhul teeb töö ära OmniHuman 2.0. LTX 2.5 ei ole laulukaartide jaoks kasutusel. OmniHumaniga laulab sinu foto eelseadistatud 10-sekundilist kõlli või kohandatud 10-sekundilist laulu, mille äpis genereerid.
Kaart Kolm emotsiooni, kus sama foto esitab ühe lause kolmel viisil, töötab kolmandal mootoril, milleks on HeyGen Avatar 4. Videostuudios tuleb LTX 2.5 mängu iga kord, kui rääkiv võte vajab tegelase ümber terviklikku stseeni. Kui valgustus, kaamera liikumine ja ruumiheli on sama olulised kui öeldud lause, hoolitseb võtte eest LTX.
KKK
Kas peaksin rääkiva video jaoks valima OmniHuman 2.0 või LTX 2.5?
Vali OmniHuman 2.0 käeliigutustega ilmeka kõne jaoks, 10 kuni 30 sekundi pikkuste tekstide jaoks või laulmiseks. Vali LTX 2.5, kui sinu tekst on kuni 9 sekundit (umbes 25 sõna) ning soovid inimese ümber filmilikku kaadrit koos kaamera liikumise, valgustuse ja ruumiheliga.
Miks maksab LTX 2.5 rohkem kui OmniHuman 2.0?
LTX 2.5 renderdab inimese ümber tervikliku stseeni koos valgustuse ja kaamera liikumisega, mitte ei animeeri ainult kõnelejat. OmniHuman 2.0 on soodsam valik rääkivate videote jaoks ja õige valik pikemate tekstide puhul. Äpis näed hinda enne käivitamist.
Kas saan mõlema mudeliga kasutada oma häält?
Jah. Mõlemad mudelid lasevad sul valida umbes 30 valmishääle seast või salvestada äpis ühe korra lühikese nõusolekuklipi, et kloonida oma hääl. Sinu kloonitud hääl töötab seejärel iga rääkiva kaardiga.
Milline selfi annab parima huulte sünkroonimise?
Selge, otsevaates foto täiskasvanust, kus suu on nähtav, annab mõlema mudeliga kõige püsivama sarnasuse ja täpseima huulte liikumise. Lühikesed laused näivad samuti loomulikumad kui pikad.
