ByteDancening yangi SI modeli statik tasvirlarni jonlantiradi va ovoz chiqaradi

Xitoyning ByteDance kompaniyasi INFP nomli yangi sun’iy intellekt modelini ishlab chiqdi. U har qanday 2D rasmlarni jonlantirishi mumkin, bu ularga nafaqat harakatlanish, balki videoqo‘ng‘iroqlar vaqtida real avatar sifatida ham harakat qilish imkoniyatini beradi.
Boshqa shunga o‘xshash yechimlardan farqli o‘laroq, INFP ma’ruzachi va tinglovchi rollarini qo‘lda belgilashga hojat qoldirmasdan real suhbat animatsiyalarini yaratishga qodir.
Ishlab chiquvchilarning ta’kidlashicha, neyron tarmoq ayniqsa lablar harakatini nutq bilan uyg‘unlashtirishda va suratdagi odamning o‘ziga xos yuz xususiyatlarini saqlab qolishda samarali.
Neyron tarmoq ikki bosqichda ishlaydi. ByteDance Motion-Based Head Imitation deb ataladigan birinchisida, SI aloqa jarayonining yuz ifodalari va bosh harakatlari kabi kichik tafsilotlarini suratga olishni o‘rganadi. Keyinchalik bu ma’lumotlar statik tasvirning ustiga qo‘yiladi va bu uning harakatlanishiga olib keladi.
Ikkinchi bosqichda (Audio-guided motion generation) tizim dialogning har ikki tomonidagi tovushni tahlil qilish orqali tovushlarni tabiiy harakatlar bilan qanday moslashtirishni aniqlaydi. Buning uchun SI modeli umumiy davomiyligi 200 soatdan ortiq bo‘lgan inson suhbatlari to‘plami bo‘yicha o‘qitildi.
Ishlab chiquvchilarning navbatdagi maqsadi statik tasvirga asoslangan butun inson tanasining real animatsiyasini yaratishdir.
Izoh qoldirish uchun saytda ro'yxatdan o'ting
Kirish
Ijtimoiy tarmoqlar orqali kiring
FacebookTwitter