Kas yra kalbanti nuotrauka
Kalbančiai nuotraukai reikia dviejų dalykų: vienos nejudančios žmogaus nuotraukos ir vieno garso takelio. AI vaizdo modelis nuskaito balso garso bangą, susieja garsus su burnos judesiais ir sugeneruoja naujus vaizdo kadrus, kuriuose žmogus iš nuotraukos ištaria tekstą.
Senesni įrankiai tiesiog užklijuodavo judančią burną ant sustingusio veido. Žandikaulis judėdavo, skruostai likdavo vietoje, o akys žiūrėdavo į niekur. Dabartiniai garsu valdomi vaizdo modeliai išjudina visą kadrą. Kai balsas įkvepia, pakyla krūtinė ir pečiai. Kai žodis ištariamas aukštesniu tonu, pakyla antakiai ir pasvyra galva. Tarp frazių sumirksima, o jei kadre matomos rankos, juda ir jos.
Su Doppelshot tau nereikia filmuoti pavyzdinio vaizdo įrašo ar įkelti dešimties savo veido kampų. Atsidarai kortelę Pasakyk tai, įkeli vieną asmenukę arba pasirenki jau programėlėje sukurtą AI portretą, įrašai norimą tekstą ir pasirenki balsą. Programėlė pirmiausia sugeneruoja kalbos takelį, o tada perduoda nuotrauką ir garsą vaizdo modeliui. Gauni vertikalų vaizdo įrašą, paruoštą TikTok, Instagram Reels ar YouTube Shorts.
Išsirink nuotrauką
Vaizdo modelis gali dirbti tik su tuo, kas matoma pradinėje nuotraukoje. Kiekviena paslėpta detalė verčia AI spėlioti, o dėl spėliojimų veidai pradeda išsikraipyti.
Naudok nuotrauką iš priekio, kurioje žmogus žiūri tiesiai į objektyvą arba šiek tiek į šoną. Burna turi būti aiškiai matoma. Atpalaiduota, užčiaupta burna arba lengva šypsena yra geriausias atspirties taškas. Jei žmogus juokiasi plačiai išsižiojęs, modelis tą atvirą žandikaulį laiko ramybės būsena, todėl pauzės tarp žodžių atrodo keistai.
Pasirūpink, kad veido niekas neužstotų:
- Jokių rankų, dengiančių smakrą ar skruostą.
- Jokių mikrofonų, kavos puodelių ar maisto priešais lūpas.
- Jokių tamsių šešėlių, krentančių ant burnos ar akių.
- Jokių akinių nuo saulės, nes akių kontaktas atlieka pusę darbo, kad kalba atrodytų tikroviškai.
Gali naudoti paprastą telefono asmenukę, studijinį portretą arba stilizuotą atvaizdą, sugeneruotą su Doppelshot nuotraukų kortele, pavyzdžiui, vintažinį juostos portretą ar filmo plakatą. Tinka tiek stambūs planai, tiek kadrai iki juosmens. Stambus planas sutelkia dėmesį į akis ir lūpų sinchronizaciją. Kadras iki juosmens suteikia modeliui erdvės judinti pečius ir rankas kalbant. Kiekvienas įkeltoje nuotraukoje esantis asmuo turi būti pilnametis (18+) ir davęs sutikimą būti AI sugeneruotame turinyje.
Rašyk devynioms sekundėms
Dauguma trumpų kalbančių klipų trunka devynias ar dešimt sekundžių. Įprastame žmonių pokalbyje devynios sekundės yra maždaug nuo 20 iki 25 žodžių.
Jei į trumpą klipą įklijuosi 60 žodžių pastraipą, kalbos generatorius arba skubės viską išberti, arba bus nutrauktas sakinio viduryje, kai baigsis vaizdo įrašas. Jei parašysi tris žodžius, žmogus kalbės vieną sekundę, o likusias aštuonias sekundes tylėdamas mirksės.
Rašyk taip, kaip žmonės šneka, o ne taip, kaip jie rašo el. laiškus:
- Naudok trumpus sakinius. Du dešimties žodžių sakiniai skamba daug natūraliau nei vienas dvidešimties žodžių sakinys su trimis dalimis.
- Naudok skyrybos ženklus kvėpavimui valdyti. Kablelis suteikia balsui trumpą pauzę. Taškas priverčia kalbėtoją sučiaupti lūpas, šiek tiek nuleisti smakrą ir įkvėpti prieš kitą eilutę.
- Skaičius ir santrumpas rašyk pilnais žodžiais, kad balsas juos perskaitytų taip, kaip nori tu.
- Perskaityk savo scenarijų balsu normaliu, neskubiu tempu, stebėdamas laikmatį. Jei viršiji devynias sekundes, išbrauk kelis žodžius.
Kai reikia ilgesnio monologo ar pranešimo, perjunk į modelį, kuris palaiko ilgesnę trukmę, arba sukurk dviejų žmonių dialogą kortelėje Sukurk tinklalaidę.
Balsas: išsirink arba klonuok savo
Kalbančios nuotraukos tikroviškumas priklauso tiek nuo garso takelio, tiek nuo vaizdo pikselių. Kadangi vaizdo modelis orientuojasi pagal garso bangą, monotoniškas, robotiškas balsas sukuria plokščią, sustingusį veidą.
Doppelshot savo balsų bibliotekai naudoja ElevenLabs (Eleven v4). Gali rinktis iš maždaug 30 skirtingų stilių ir tonų balsų arba palikti parinkiklį ant Auto, kad programėlė pati parinktų balsą, tinkantį žmogui tavo nuotraukoje. Balsas kalba ta kalba, kuria parašai scenarijų. Taip pat gali pridėti pastabą dėl kalbėjimo manieros, pavyzdžiui, švelniai, linksmai ar uždusęs, kad frazė skambėtų gyvai, o ne kaip skaitoma iš lapo.
Jei nuotraukoje esi tu, iš tavo veido sklindantis svetimas balsas tave pažįstantiems žmonėms gali pasirodyti keistas. Savo balsą gali klonuoti tiesiai programėlėje. Vieną kartą naršyklėje įrašai trumpą sutikimo įrašą, ir klonas būna paruoštas per kelias minutes. Jis atsiranda šalia bibliotekos balsų ir veikia kiekvienoje kalbančioje kortelėje.
Duok vaidybos nurodymą
Prieš kamerą kalbantis žmogus retai sustingsta vienoje pozoje nuo pirmojo iki paskutinio žodžio. Galvodamas jis pakelia akis, ties svarbiu žodžiu linkteli arba nusišypso pasakęs pokštą.
Keli kalbantys modeliai leidžia šalia scenarijaus pridėti trumpą tekstinį nurodymą. Šis nurodymas pasako vaizdo modeliui, ką žmogus ir kamera daro, kol groja garsas.
Nurodymas turi būti paprastas ir fiziškas. Apibūdink vieną ar du nedidelius veiksmus, kurie telpa į devynias sekundes:
- "Žiūri tiesiai į objektyvą, kartą linkteli, o pabaigoje nusišypso."
- "Ramiai kalba šiek tiek pakreipęs galvą, šilta vidaus šviesa."
- "Laiko kavos puodelį, pakelia akis į kamerą ir švelniai kalba."
Venk grūsti kelis didelius veiksmus į trumpą klipą. Jei paprašysi žmogaus atsistoti, pereiti kambarį, pamojuoti ir vėl atsisėsti per devynias sekundes, judesiai bus greiti ir nenatūralūs, atitrauks dėmesį nuo veido ir sugadins lūpų sinchronizaciją.
Kurį modelį rinktis: OmniHuman, LTX, HeyGen, Kling, Creatify
Kiekviena kalbanti kortelė Doppelshot programėlėje veikia su numatytuoju varikliu, bet prieš generuodamas gali perjungti į kito modelio žymą. Skirtingi modeliai pritaikyti skirtingiems kadrams. Kaina rodoma prieš paleidžiant.
OmniHuman 2.0 (ByteDance). Sukurtas išraiškingai kalbai, kūno kalbai ir dainavimui. Jis tiksliai seka balsą, priderindamas lūpas, kvėpavimą ir rankų gestus prie garso. Kadangi jis priima rašytinius nurodymus, gali pasakyti žmogui, kaip reaguoti kalbant. Tinka tiek stambiems planams, tiek viso ūgio kadrams, o įrašų trukmė gali būti 10, 20 arba 30 sekundžių.
LTX 2.5 (Lightricks). Sukurtas kinematografiškam kadrui iki 9 sekundžių (apie 25 žodžius). Nors dauguma avatarų variklių susitelkia tik į patį žmogų, LTX traktuoja klipą kaip filmo režisierius: jis animuoja kalbantį žmogų pilnoje scenoje su kadravimu, apšvietimu, kameros judesiu ir vėliau įmaišomu aplinkos garsu. Rinkis jį, kai aplinka aplink kalbėtoją yra tokia pat svarbi kaip ir žodžiai.
HeyGen Avatar 4. Subalansuotas veido išraiškai, antakių judesiams ir akių kontaktui. Jis išlaiko originalios nuotraukos išvaizdą, bet suteikia kalbėtojui laidos vedėjo laisvumą prieš kamerą. Jis taip pat valdo kortelę Trys emocijos, kurioje tavo nuotrauka viename klipe ištaria tą pačią frazę trimis skirtingais būdais.
Kling Avatar ir Kling Avatar Pro (Kuaishou). Praktiškas pasirinkimas ilgiems scenarijams. Kling Avatar apdoroja kalbančius vaizdo įrašus nuo 10 iki 60 sekundžių, o kaina skaičiuojama už 10 sekundžių atkarpą. Standartinis lygis yra pigiausias būdas sukurti ilgą pranešimą ar įžangą, o Pro lygis išlaiko smulkesnes veido detales ir stabilesnį judesį ilguose dubliuose.
Creatify Aurora. Apmokytas naudojant pranešėjų ir vartotojų kurtų reklamų įrašus. Jis suteikia kalbėtojui tiesų, užtikrintą kreipimąsi į kamerą, pritaikytą produktų pristatymams ir socialinių tinklų vaizdo įrašų kabliukams iki 20 sekundžių.
Jei reikia nuoseklių instrukcijų, kaip paruošti pirmąjį klipą, peržiūrėk pagalbos puslapį kaip priversti nuotrauką kalbėti ar dainuoti.
Kur viskas stringa ir kaip tai ištaisyti
Net ir geri modeliai suklysta, kai pradiniai duomenys verčia juos daryti tai, kam jie nebuvo apmokyti. Štai dažniausios problemos ir kaip jas išspręsti dar prieš išleidžiant kreditus.
Veidas išsikraipo pasukus galvą. Įkėlei nuotrauką profiliu arba trijų ketvirčių kampu, kur matoma tik viena akis ir pusė burnos. Kai kalbėtojas pasisuka į kamerą, AI turi išgalvoti trūkstamą veido pusę. Sprendimas: naudok nuotrauką iš priekio, kurioje aiškiai matomos abi akys ir abu lūpų kampučiai.
Dantys arba lūpos atrodo išsilieję. Originali nuotrauka yra žemos raiškos, stipriaiuglaudinta arba tamsi aplink burną. Sprendimas: pradėk nuo gerai apšviestos asmenukės arba pirmiausia padidink nuotraukos raišką su kokybės gerinimo įrankiu, kad modelis turėtų ryškius lūpų kontūrus.
Kalba nutrūksta pabaigoje. Scenarijuje yra per daug žodžių pasirinktai klipo trukmei. Sprendimas: sutrumpink scenarijų iki maždaug 20 ar 25 žodžių kiekvienai 10 sekundžių atkarpai arba perjunk trukmės parinkiklį į 20 ar 30 sekundžių.
Balsas neteisingai ištaria vardą ar santrumpą. Kalbos modeliai spėja fonetinį tarimą pagal teksto kalbą. Sprendimas: scenarijaus laukelyje užrašyk sudėtingą žodį taip, kaip jis tariamas, kad garso generatorius perskaitytų tiksliai tuos garsus, kurių nori.
Žmogus tarp sakinių atrodo sustingęs. Scenarijuje yra ilga tyla arba neduotas joks vaidybos nurodymas. Sprendimas: pašalink tuščias pauzes suglausdamas tekstą arba perjunk į OmniHuman ir pridėk lengvą veiksmo pastabą, pavyzdžiui, "pabaigoje šiek tiek nusišypso".
DUK
Ar galiu priversti nuotrauką kalbėti mano paties balsu?
Taip. Doppelshot naršyklės programėlėje vieną kartą įrašai trumpą balso pavyzdį. Tavo klonuotas balsas paruošiamas per kelias minutes ir atsiranda šalia 30 bibliotekos balsų kiekvienoje kalbančioje kortelėje.
Kokio ilgio gali būti kalbančios AI nuotraukos vaizdo įrašas?
Iki 60 sekundžių, priklausomai nuo pasirinkto modelio. LTX 2.5 kuria klipus iki 9 sekundžių, Creatify Aurora iki 20 sekundžių, OmniHuman veikia iki 30 sekundžių, o Kling Avatar palaiko scenarijus nuo 10 iki 60 sekundžių.
Ar man reikia įkelti 20 asmenukių, kad sukurčiau kalbantį vaizdo įrašą?
Ne. Kiekvienai kalbančiai ir dainuojančiai kortelei užtenka vienos aiškios nuotraukos iš priekio. Nuo 10 iki 20 asmenukių reikia tik tada, jei pirmiausia nori susikurti daugkartinį AI dvynį naujoms nuotraukų scenoms generuoti.
Ar galiu naudoti kalbantį vaizdo įrašą komerciniams projektams ar socialinių tinklų reklamoms?
Taip. Kiekvienas mokamas rezultatas Doppelshot programėlėje turi komercinę licenciją be matomo vandens ženklo ir yra pažymėtas mašininiu būdu nuskaitoma AI žyma pagal ES taisykles. Nemokami peržiūros rezultatai turi matomą ženklą ir yra skirti tik asmeniniam naudojimui.
