Компания Nvidia представила Project G-Assist — локального ИИ-помощника, который помогает в играх и приложениях для ПК. Он способен оценивать происходящее на экране и понимать контекст, и может предложить победную тактику в игре, проанализировать ошибки геймера или помочь в сложных творческих задачах. Данное решение было представлено в рамках презентации Nvidia на выставке Computex 2024.

По словам Nvidia, ассистенты с искусственным интеллектом изменят игровой процесс и работу с приложениями. Современные игры для ПК предлагают огромные вселенные для исследования и множество механик для освоения, что может быть сложно и требовать много времени даже для самых заядлых геймеров. Цель проекта G-Assist — предоставить игрокам возможность получать знания об играх налету с помощью генеративного ИИ.

Project G-Assist принимает голосовые или текстовые команды от игрока, а также контекстную информацию с экрана и прогоняет эти данные через модели компьютерного зрения. Эти модели улучшают контекстную осведомленность и понимание специфики приложения большой языковой модели (LLM), связанной с базой знаний игры. В конечном итоге система генерирует индивидуальный ответ в виде текста или речи.

Например, помощник может предложить тактику против игрового босса, подсказать решение головоломки, или рассказать, как создать или найти тот или иной игровой предмет. Поклонникам соревновательных игр G-Assist поможет разобрать демку после матча и проанализировать ошибки и игру в целом, прямо как тренер.

Кроме того, Project G-Assist может настроить игровую систему игрока для оптимальной производительности и эффективности. Он может предоставить информацию о показателях производительности, оптимизировать графические настройки в зависимости от аппаратного обеспечения пользователя, применить разгон до безопасного уровня и даже интеллектуально снизить энергопотребление при сохранении заданной производительности.