Во вторник Google DeepMind представила новую языковую модель Gemini Robotics On-Device, способную выполнять задачи на роботах локально, без подключения к интернету. Она основана на модели Gemini Robotics, выпущенной в марте, и позволяет управлять движением робота с помощью команд на естественном языке.

По заявлениям Google, локальная модель работает почти на уровне облачной версии и превосходит другие аналогичные решения на устройствах, хотя конкретные сравнения не приводятся. Разработчики могут адаптировать модель под различные задачи и типы роботов.

В демонстрации роботы с Gemini On-Device расстегивали сумки и складывали одежду. Модель была изначально обучена для роботов ALOHA, но затем успешно адаптирована для двурукого робота Franka FR3 и гуманоидного Apollo от Apptronik.

Franka FR3 справлялся с новыми для него задачами, включая сборку на конвейере. Google также выпустила инструментарий Gemini для обучения роботов: достаточно 50–100 демонстраций в симуляторе MuJoCo, чтобы модель осваивала новые действия.