OpenAI Whisper nutqni aniqlash tizimining manba kodini nashr etdi. PyTorch freymvorkka asoslangan dastur kodi va allaqachon o‘qitilgan modellar to‘plami MIT litsenziyasi ostida foydalanish uchun mavjud.

Ishlab chiquvchilarning ta’kidlashicha, tizim ingliz tilidagi nutqni deyarli insonlar kabi taniydi.

Modelni o‘rgatish uchun turli mavzularda va turli tillarda bir nechta kolleksiyalardan to‘plangan 680 ming soatlik nutq ma’lumotlaridan foydalanilgan (jami ma’lumotlar hajmining taxminan uchdan bir qismi).

Whisper aksentli talaffuzni to‘g‘ri idrok eta oladi, fondagi shovqinni, shuningdek, texnik atamalar va jargonni taniy oladi. Tizim nutqni ixtiyoriy tildan ingliz tiliga tarjima qilish va audio oqimdagi nutqning ko‘rinishini aniqlash imkoniyatiga 3ga.

OpenAI ikkita modelni taqdim etdi: ingliz va ko‘p tilli, xususan, rus, ukrain va belarus tillarini qo‘llab-quvvatlaydi. Har bir model parametrlarning o‘lchamiga va soniga qarab beshta variantga bo‘linadi. Eng kichik model 39 million parametr bo‘yicha o‘qitilgan va 1 Gb video xotirani talab qiladi, eng katta model esa 1550 million parametr bo‘yicha o‘qitilgan va 10 Gb video xotirani talab qiladi.

Whisper Transformer neyron tarmog‘i arxitekturasida ishlaydi, u kodlovchi va dekoderni o‘z ichiga oladi. Ovoz 30 soniyali bo‘laklarga bo‘linadi, ular log-Mel spektrogrammasiga aylantiriladi va kodlovchiga yuboriladi. Keyin ma’lumotlar matn ko‘rinishini bashorat qiluvchi dekoderga yuboriladi.

U bitta umumiy modelda tilni aniqlash, iboralarning talaffuz xronologiyasini hisobga olgan holda, nutqni turli tillarda transkripsiya qilish va ingliz tiliga tarjima qilish kabi vazifalarni hal qilishga imkon beradigan maxsus belgilar bilan aralashtiriladi.

Iyul oyida OpenAI  kutish ro‘yxatidagi foydalanuvchilarga DALL-E 2 tasvirlash neyron tarmog‘iga kirishni ochdi. Shu bilan birga, korxonada kredit tizimi bo‘yicha undan qisman haq to‘lanadigan foydalanish joriy etildi.