Abu modeliai po vieną pastraipą
OmniHuman 2.0 yra ByteDance sukurtas garso valdomas žmogaus vaizdo modelis. Duodi jam vieną nuotrauką bei vieną balso takelį, ir žmogus nuotraukoje kalba arba dainuoja su tiksliai atitinkančiomis lūpomis, veidu bei rankomis. Jis taip pat priima rašytinius nurodymus, todėl gali pasakyti, ką žmogus turi daryti kalbėdamas, pavyzdžiui, pažiūrėti į viršų ir pabaigoje nusišypsoti. Iš vieno vaizdo jis apdoroja tiek stambaus plano, tiek viso ūgio kadrus, ir tinka tiek kalbamam tekstui, tiek dainuojančioms kortelėms.
LTX 2.5, tiksliau LTX 2.5 Pro, yra Lightricks sukurtas vaizdo modelis kinematografiniams klipams. Užuot susitelkęs tik į žmogų, jis generavimą traktuoja kaip kino režisierius ir valdo kadravimą, apšvietimą bei kameros judėjimą aplink kalbėtoją. Doppelshot programėlėje jis veikia kaip garso valdomas kalbėjimo variklis, kuriame tavo pasirinktas balsas perskaito tekstą, modelis animuoja nuotrauką sukomponuotame kadre, o vėliau įmaišomas patalpos foninis garsas. Jis sukurtas trumpiems, kinematografiniams kalbėjimo klipams, kuriuose supanti scena yra tokia pat svarbi kaip ir žodžiai.
Lūpų sinchronizavimas ir veidas
Kai kalbančių nuotraukų modelių palyginime ieškai geriausio lūpų sinchronizavimo modelio, abu varikliai remiasi tuo pačiu pagrindu: juos valdo garsas. Nė vienas modelis nejudina burnos atsitiktinai ir nebando vėliau priderinti žodžių. Pirmiausia eina balso takelis, o vaizdo įrašas kuriamas aplink garsą.
Su OmniHuman 2.0 lūpos, kvėpavimas ir veido išraiškos tiesiogiai seka balso takelį. Kadangi jis seka garso ritmą ir kvėpavimą, modelis susidoroja tiek su įprasta kalba, tiek su muzikine fraze. Būtent todėl jis gali išlaikyti sakomą monologą ir puikiai atrodo, kai nuotrauka dainuoja trumpą melodiją ar specialiai sukurtą dainą.
LTX 2.5 taip pat susieja lūpų ir veido judesius su balso takeliu, išlaikydamas tavo panašumą iš pateiktos nuotraukos. Abiem modeliams svarbi įkeliamo vaizdo kokybė. Aiški, iš priekio daryta asmenukė, kurioje matosi burna, užtikrina stabiliausią panašumą ir švariausią lūpų sinchronizavimą. Trumpi sakiniai taip pat skamba ir atrodo natūraliau nei ilgi ir sudėtingi.
Judesys: galva, rankos, kūnas
Kalbanti nuotrauka nepasiteisina, jei burna juda, o visa kita žmogaus dalis atrodo sustingusi. OmniHuman 2.0 ir LTX 2.5 šią problemą sprendžia dviem skirtingais būdais: vienas sutelkia dėmesį į žmogaus kūno kalbą, o kitas į kameros ir scenos judėjimą.
OmniHuman 2.0 sukurtas išraiškingai kalbai su gestais. Jis judina galvą, veidą ir rankas pagal garso takelį, dirbdamas tiek su stambaus plano portretu, tiek su viso ūgio nuotrauka. Jo išskirtinė savybė yra ta, kad jis priima sceninius nurodymus paprastais žodžiais. Skirtingai nuo daugumos kalbėjimo variklių, kurie nuskaito tik garsą, OmniHuman leidžia parašyti, ką žmogus daro kalbėdamas, pavyzdžiui, pasuka galvą, pažiūri į viršų ar nusišypso eilutės pabaigoje.
LTX 2.5 į judesį žiūri kaip kameros operatorius ir apšvietimo režisierius. Judindamas lūpas ir veidą pagal kalbą, jis tuo pačiu animuoja visą kadrą aplink žmogų. Jis perteikia kadrą per kompoziciją, šviesą ir kameros judesį. Kadangi LTX sugeneruoja pilną sceną aplink objektą, o ne tik animuoja kalbėtoją, vienas paleidimas kainuoja daugiau nei 10 sekundžių OmniHuman klipas. Programėlėje kaina rodoma prieš paleidžiant generavimą, o kaip veikia kreditų paketai, gali patikrinti kainodaros puslapyje.
Balsas: įkeliamas garsas ar modelio sukurtas balsas
Lyginant OmniHuman 2.0 ir LTX 2.5 atviroje rinkoje, žmonės dažnai pastebi, kad OmniHuman priima garso failą kaip įvestį, o LTX gali sugeneruoti savo garsą ir scenos triukšmą. Doppelshot viduje darbo eiga yra suvienodinta, kad visada valdytum tikslų balsą ir tekstą.
Programėlėje abu modeliai veikia kaip garso valdomi varikliai, kuriuose balsams ir melodijoms naudojamas ElevenLabs, o individualioms dainoms Mureka. Tu parašai savo tekstą, o kalbos kalba priklauso nuo to, kokia kalba parašei žodžius. Gali rinktis iš maždaug 30 bibliotekos balsų arba naudoti savo balso kloną, programėlėje vieną kartą įrašęs trumpą sutikimo įrašą. Jei naudoji OmniHuman 2.0 ir palieki balso nustatymą ties Auto, balsas automatiškai prisitaiko prie nuotraukoje esančio žmogaus.
Garso skirtumas išryškėja proceso pabaigoje. OmniHuman 2.0 griežtai susitelkia į žmogaus kvėpavimo, lūpų ir gestų suderinimą su balso ar dainos takeliu. LTX 2.5 pirmiausia paima tą balso takelį veidui ir kadrui animuoti, o vėliau įmaišo patalpos foninį garsą, kad klipas skambėtų taip, lyg būtų įrašytas fizinėje erdvėje. Jei nori perskaityti nuoseklias instrukcijas, kaip nustatyti balsą ar dainą, peržiūrėk gidą, kaip priversti nuotrauką kalbėti ar dainuoti.
Trukmė ir formatas
Trukmė yra vienas aiškiausių būdų pasirinkti tarp šių dviejų variklių. Jei turi pasakyti daugiau nei porą sakinių, tavo tekstui tiks tik vienas iš šių dviejų modelių.
LTX 2.5 sukuria vieną iki 9 sekundžių trukmės klipą. Praktikoje tai atitinka maždaug 25 sakomo teksto žodžius. Jis sukurtas vienam glaudžiam kadrui vertikaliame formate arba kaip vienas kalbamas epizodas kelių kadrų vaizdo įraše.
OmniHuman 2.0 sukurtas ilgesniam kalbėjimui. Jis veikia 10 sekundžių blokais ir palaiko 10, 20 bei 30 sekundžių tekstus už tą pačią kainą kiekvienam 10 sekundžių intervalui. Tarp platesnio programėlės AI modelių pasirinkimo kiti kalbėjimo varikliai gali siekti iki 60 sekundžių, o dainuojantys vaizdo įrašai kuriami kaip 10 sekundžių vertikalūs klipai, paruošti TikTok, Reels ir Shorts platformoms.
Kuris modelis kuriai kortelei
Kiekviena kortelė Doppelshot programėlėje veikia su numatytuoju tai užduočiai parinktu modeliu, o Studija leidžia perjungti į kitą variklį, jei nori kitokio vaizdo. Kai pakeiti variklį arba trukmę, kaina parodoma prieš paleidžiant, o visa išsami informacija pateikiama kainodaros puslapyje.
Kortelėje Pasakyk tai prieinami abu modeliai. OmniHuman 2.0 naudoji tada, kai nori išraiškingos kalbos, rankų gestų, rašytinių nurodymų, kaip žmogus turi elgtis, arba teksto, kuris trunka iki 30 sekundžių. Tai taip pat yra pigesnis iš dviejų variantų. Į LTX 2.5 perjungi tada, kai tavo tekstas yra trumpesnis nei 25 žodžiai ir nori kinematografinio kadro, apšvietimo bei kameros judėjimo aplink kalbėtoją.
Dainuojančiose kortelėse, tokiose kaip Vakarėlio metas, visą darbą atlieka OmniHuman 2.0 variklis. LTX 2.5 dainuojančioms kortelėms nenaudojamas. Su OmniHuman tavo nuotrauka dainuoja paruoštą 10 sekundžių melodiją arba individualią 10 sekundžių dainą, kurią sugeneruoji programėlėje.
Kortelė Trys emocijos, kurioje ta pati nuotrauka ištaria frazę trimis būdais, veikia su trečiuoju varikliu, HeyGen Avatar 4. Vaizdo studijoje LTX 2.5 įsitraukia visada, kai kalbančiam kadrui reikia pilnos scenos aplink veikėją. Kai apšvietimas, kameros judesys ir patalpos foninis garsas yra tokie pat svarbūs kaip ir sakoma frazė, kadrą apdoroja LTX.
DUK
Kalbančiam vaizdo įrašui rinktis OmniHuman 2.0 ar LTX 2.5?
Rinkis OmniHuman 2.0 išraiškingai kalbai su rankų gestais, tekstams nuo 10 iki 30 sekundžių arba dainavimui. Rinkis LTX 2.5, kai tavo tekstas trunka iki 9 sekundžių (apie 25 žodžius) ir nori kinematografinio kadro su kameros judėjimu, apšvietimu bei patalpos foniniu garsu aplink žmogų.
Kodėl LTX 2.5 kainuoja daugiau nei OmniHuman 2.0?
LTX 2.5 sugeneruoja pilną sceną aplink žmogų, įskaitant apšvietimą ir kameros judėjimą, o ne tik animuoja patį kalbėtoją. OmniHuman 2.0 yra prieinamesnis pasirinkimas kalbantiems vaizdo įrašams ir tinkamas variantas ilgesniems tekstams. Programėlėje kaina rodoma prieš paleidžiant generavimą.
Ar galiu naudoti savo balsą su abiem modeliais?
Taip. Abu modeliai leidžia rinktis iš maždaug 30 bibliotekos balsų arba vieną kartą programėlėje įrašyti trumpą sutikimo įrašą ir klonuoti savo balsą. Tavo klonuotas balsas tuomet veikia visose kalbančiose kortelėse.
Kokia asmenukė užtikrina geriausią lūpų sinchronizavimą?
Aiški, iš priekio daryta suaugusio žmogaus nuotrauka, kurioje matosi burna, abiejuose modeliuose užtikrina stabiliausią panašumą ir tiksliausius lūpų judesius. Trumpi sakiniai taip pat atrodo natūraliau nei ilgi.
