OpenAI Whisper нутқни аниқлаш тизимининг манба кодини нашр этди. PyTorch фреймворкка асосланган дастур коди ва аллақачон ўқитилган моделлар тўплами МИТ лицензияси остида фойдаланиш учун мавжуд.

Ишлаб чиқувчиларнинг таъкидлашича, тизим инглиз тилидаги нутқни деярли инсонлар каби танийди.

Моделни ўргатиш учун турли мавзуларда ва турли тилларда бир нечта коллекциялардан тўпланган 680 минг соатлик нутқ маълумотларидан фойдаланилган (жами маълумотлар ҳажмининг тахминан учдан бир қисми).

Whisper акцентли талаффузни тўғри идрок эта олади, фондаги шовқинни, шунингдек, техник атамалар ва жаргонни таний олади. Тизим нутқни ихтиёрий тилдан инглиз тилига таржима қилиш ва аудио оқимдаги нутқнинг кўринишини аниқлаш имкониятига 3га.

OpenAI иккита моделни тақдим этди: инглиз ва кўп тилли, хусусан, рус, украин ва беларус тилларини қўллаб-қувватлайди. Ҳар бир модел параметрларнинг ўлчамига ва сонига қараб бешта вариантга бўлинади. Энг кичик модел 39 миллион параметр бўйича ўқитилган ва 1 Гб видео хотирани талаб қилади, энг катта модел эса 1550 миллион параметр бўйича ўқитилган ва 10 Гб видео хотирани талаб қилади.

Whisper Transformer нейрон тармоғи архитектурасида ишлайди, у кодловчи ва декодерни ўз ичига олади. Овоз 30 сонияли бўлакларга бўлинади, улар log-Mel спектрограммасига айлантирилади ва кодловчига юборилади. Кейин маълумотлар матн кўринишини башорат қилувчи декодерга юборилади.

У битта умумий моделда тилни аниқлаш, ибораларнинг талаффуз хронологиясини ҳисобга олган ҳолда, нутқни турли тилларда транскрипсия қилиш ва инглиз тилига таржима қилиш каби вазифаларни ҳал қилишга имкон берадиган махсус белгилар билан аралаштирилади.

Июль ойида OpenAI  кутиш рўйхатидаги фойдаланувчиларга DALL-E 2 тасвирлаш нейрон тармоғига киришни очди. Шу билан бирга, корхонада кредит тизими бўйича ундан қисман ҳақ тўланадиган фойдаланиш жорий этилди.