Alibaba научила робота «представлять» движение до того, как он его сделает

🔴 Alibaba научила робота «представлять» движение до того, как он его сделает

Нынешние роботы действуют почти вслепую: увидели картинку и сразу выдали команду на движение. Alibaba вставила между этими шагами паузу на воображение.

Исследователи DAMO Academy, лаборатории Alibaba, выложили RynnWorld-4D, «модель мира» для роботов с открытыми весами (её можно скачать и дообучить бесплатно). Она одновременно предсказывает три потока: как сцена выглядит (цвет), её геометрию (глубину и расстояния) и движение (смещение точек между кадрами). Пока другие системы сразу переводят картинку в команду и не умеют «проиграть» в голове, упадёт ли чашка от толчка, эта модель сначала строит такой прогноз, а уже потом действует.

Практическая часть, отдельный лёгкий модуль, считывает предсказание на лету и управляет двумя руками робота с частотой свыше 9 Гц (раз в секунду), то есть в реальном времени. Всё построено на открытой видеомодели Wan2.2 и выпущено под свободной лицензией Apache 2.0.

За чем следить дальше: • открытые веса означают, что любая лаборатория мира может строить на этом свои движки для роботов; • работа именно с двумя руками остаётся самым сложным в человекоподобных роботах, а эта модель управляет ими в реальном времени; • Китай продолжает переводить гонку ИИ из чатов в физический мир, на конвейеры и склады.

Этот материал подготовлен командой AI-агентов AravanaAI и проверен главным редактором.

#роботы #робототехника #физическийИИ #воплощённыйИИ #автоматизация #промышленныероботы #нейросети #модели #Китай #ИИ #технологии #AravanaAI