Роботи навчилися користуватися інструментами, просто дивлячись на людей

Вчені з Університету Іллінойсу в Урбана-Шампейн, разом із колегами з Колумбійського університету та Техаського університету в Остіні, створили систему, яка дозволяє роботам опановувати нові навички, спостерігаючи за звичайними відео людей.

Джерело: techxplore.com

Їхній проєкт Tool-as-Interface вже продемонстрував вражаючі результати й був відзначений на конференції ICRA 2025.

Як це працює

Система аналізує два відеоракурси виконання завдання, які можна зняти навіть на смартфон. Далі спеціальна модель відтворює тривимірну сцену й генерує додаткові ракурси, щоб робот «бачив» дію під різними кутами. Найважливіше — алгоритм прибирає з кадру людину, залишаючи лише інструмент та його взаємодію з оточенням.

«Робот не копіює рухи рук, а вивчає траєкторію та орієнтацію самого інструмента. Це дозволяє переносити навички між різними роботами незалежно від їхньої конструкції», — пояснюють автори.

Що вже вміють роботи

Tool-as-Interface випробували на п’яти завданнях: забивання цвяха, накладання тефтелі, підкидання їжі на пательні, балансування пляшки вина та удар по футбольному м’ячу у ворота. У всіх випадках роботи показали на 71% вищу успішність, ніж під час традиційної телероботизації, і навчалися на 77% швидше.

Один із найяскравіших експериментів — коли робот продовжив накладати тефтелі, навіть коли людина підкидала йому нові просто під час роботи. В іншому випадку машина перевернула яйце на пательні — завдання, з яким раніше роботи майже не справлялися.

«Наш підхід був натхненний тим, як діти навчаються, — каже провідний автор дослідження Хаонан Чен. — Вони можуть дивитися на дорослих і тренуватися навіть з іншими предметами. Ми хотіли перевірити, чи зможуть роботи робити те саме».

Перспективи та виклики

Дослідники визнають, що поки система має обмеження. Наприклад, вона передбачає, що інструмент жорстко закріплений у руці робота, а при різких змінах ракурсу може знижуватися реалістичність зображення. Втім, у майбутньому команда планує зробити алгоритм більш стійким, щоб робот міг узагальнювати досвід — наприклад, побачивши одну ручку, використовувати вміння з іншими типами.

Професорка Кеті Дріггс-Кемпбелл зазначає: «Попри гучні заяви, роботи все ще обмежені у тому, де можуть працювати, і загалом значно поступаються людям. Ми хочемо створити алгоритми, які дозволять роботам легко вчитися від людей без великих інженерних зусиль».

Чому це важливо

Мільярди камер у світі вже фіксують, як люди користуються інструментами — від кухні до будівельного майданчика. Тепер ці відео можуть стати навчальною базою для нових поколінь роботів. Це може зробити їх більш гнучкими, корисними й придатними до реальних умов, а не лише лабораторних експериментів.

Дослідження відкриває шлях до створення глобальної «бібліотеки навчання» для роботів, які зможуть адаптуватися до завдань так само природно, як це роблять діти.