Хабарлар тезкор Телеграм каналимизда Обуна бўлиш ×

ByteDanceнинг янги СИ модели статик тасвирларни жонлантиради ва овоз чиқаради

ByteDanceнинг янги СИ модели статик тасвирларни жонлантиради ва овоз чиқаради

Foto: 4PDA

Хитойнинг ByteDance компанияси INFP номли янги сунъий интеллект моделини ишлаб чиқди. У ҳар қандай 2D расмларни жонлантириши мумкин, бу уларга нафақат ҳаракатланиш, балки видеоқўнғироқлар вақтида реал аватар сифатида ҳам ҳаракат қилиш имкониятини беради.

Бошқа шунга ўхшаш ечимлардан фарқли ўлароқ, INFP маърузачи ва тингловчи ролларини қўлда белгилашга ҳожат қолдирмасдан реал суҳбат анимацияларини яратишга қодир.  

Ишлаб чиқувчиларнинг таъкидлашича, нейрон тармоқ айниқса лаблар ҳаракатини нутқ билан уйғунлаштиришда ва суратдаги одамнинг ўзига хос юз хусусиятларини сақлаб қолишда самарали.

Нейрон тармоқ икки босқичда ишлайди. ByteDance Motion-Based Head Imitation деб аталадиган биринчисида, СИ алоқа жараёнининг юз ифодалари ва бош ҳаракатлари каби кичик тафсилотларини суратга олишни ўрганади. Кейинчалик бу маълумотлар статик тасвирнинг устига қўйилади ва бу унинг ҳаракатланишига олиб келади.

Иккинчи босқичда (Audio-guided motion generation) тизим диалогнинг ҳар икки томонидаги товушни таҳлил қилиш орқали товушларни табиий ҳаракатлар билан қандай мослаштиришни аниқлайди. Бунинг учун СИ модели умумий давомийлиги 200 соатдан ортиқ бўлган инсон суҳбатлари тўплами бўйича ўқитилди.  

Ишлаб чиқувчиларнинг навбатдаги мақсади статик тасвирга асосланган бутун инсон танасининг реал анимациясини яратишдир.

Изоҳлар 0

Изоҳ қолдириш учун сайтда рўйхатдан ўтинг

Кириш

Ижтимоий тармоқлар орқали киринг