Компания Meta анонсировала SeamlessM4T — мультимодальную модель искусственного интеллекта для перевода речи и текстов. Нейросеть обрабатывает как текст, так и аудио и поддерживает до 100 языков. Цель инструмента — помочь людям, говорящим на разных языках, более эффективно общаться друг с другом.

SeamlessM4T выполняет распознавание речи, перевод речи в текст (переводит речь на другой язык в текстовом формате), перевод речи в речь (пользователь передает речевой звук, а ИИ выводит переведенную речь), перевод текста в текст (аналогично тому, как работает Google Translate) и перевод текста в речь (можно скормить нейросети текст, а она переведет и озвучит его на другом языке). Каждая из функций перевода текста поддерживает 100 языков, а функции речевого вывода поддерживают 36 языков.

Компания расплывчато объясняет, откуда она взяла данные для обучения. Текстовые данные были получены из Википедии, новостных источников, сценариев речей и других источников, и переведены профессиональными переводчиками.