Робот Figure 01 говорит и действует с помощью GPT

Компания Figure продемонстрировала первые плоды своего сотрудничества с OpenAI по расширению возможностей человекоподобных роботов. В опубликованном видео робот Figure — 01 разговаривает и выполняет действия в режиме реального времени с помощью GPT.

Прогресс в разработке компании «Figure» просто выдающийся. Предприниматель Бретт Адкок собрал вместе группу ключевых игроков из Boston Dynamics, Tesla, Google DeepMind и Archer Aviation, чтобы «создать первого в мире коммерчески жизнеспособного гуманоидного робота общего назначения».

К октябрю Figure — 01 уже встал на ноги и выполнял основные автономные задачи. К началу года робот уже обладал способностью наблюдать и учиться и был готов к работе на заводе  BMW к середине января.

После этого было объявлено о соглашении о сотрудничестве с OpenAI «для разработки моделей искусственного интеллекта следующего поколения для человекоподобных роботов». Теперь становится ясно, что это значило.

Бретт Адкок говорит, что встроенные камеры Figure — 01 отправляют данные в большую визуально-лингвистическую модель, обученную OpenAI, в то время как собственные нейронные сети Figure также «принимают изображения с частотой 10 Гц через камеры робота».

OpenAI кроме того отвечает за способность понимать произнесенные слова, и весь этот приток информации преобразуется нейронной сетью Figure в «быстрые и ловкие действия робота».

В компании подтвердили, что во время демонстрации роботом не управляли дистанционно, а видео было снято на реальной скорости.

«Наша цель — научить большую визуально-лингвистическую модель управлять роботами-гуманоидами на уровне миллиардов единиц», — сказал Бретт Адкок. Видимо, с такими темпами развития ждать долго не придется.