Тренажерний зал для андроїдів: нова система SceneSmith створює надреалістичні ШІ-світи для навчання роботів

Штучний інтелект навчився будувати надреалістичні 3D-світи, щоб готувати роботів до реального життя

Джерело: techxplore.com

Роботи, що крокують вулицями під здивовані погляди перехожих, поступово стають звичною картиною. Проте ці машини досі не готові замінити людей на кухнях чи фабриках через брак якісних даних для навчання. Вчені з MIT знайшли розв'язання цієї проблеми, залучивши ШІ для створення надреалістичних тренувальних полігонів.

Як і люди, роботи найкраще вчаться на власному досвіді. Але фізично навчати залізних помічників тисячам різних побутових дій у реальному світі — це занадто довго, виснажливо та дорого. Дослідники з Лабораторії комп'ютерних наук та штучного інтелекту MIT (CSAIL) та Дослідницького інституту Toyota (TRI) створили революційну систему SceneSmith, яка генерує деталізовані віртуальні простори для безпечного тренування роботів.

Тріо ШІ-агентів замість дизайнерів інтер'єру

Система SceneSmith використовує три автономні ШІ-програми (агенти), які спільно створюють стіни, об'єкти та загальний вигляд кімнат — від спалень до готелів і ресторанів. Кожен агент працює на базі сучасної мультимодальної моделі GPT-5.2.

У процесі створення віртуального простору ролі розподіляються таким чином:

• «Дизайнер» — розробляє та розставляє елементи інтер'єру.
• «Критик» — оцінює сцену та вказує на нереалістичні деталі (наприклад, радить прибрати ванну з вітальні).
• «Оркестратор» — координує роботу перших двох та вирішує, коли дизайн є завершеним.

«Система будує 3D-сцени саме так, як це робив би дизайнер-людина. Ми створили понад 1300 кімнат за допомогою провідної ШІ-моделі, і вона продемонструвала неймовірно креативні та різноманітні рішення, імпровізуючи без жодних підказок», — зазначає співавтор дослідження Ніколас Пфафф.

Чому ці симуляції кращі за попередні?

Завдяки SceneSmith користувач може просто написати текстовий запит: «Створи гараж із машиною, верстатом, купою шин у кутку та драбиною біля стіни» — і система миттєво згенерує насичене предметами середовище.

• У 6 разів більше деталей: нові віртуальні кімнати містять ушестеро більше дрібних об'єктів для взаємодії, ніж розробки конкурентів.
• Фізична точність: предмети мають не лише текстуру, а й масу, силу тертя та інерцію.
• Інтерактивність: на відміну від статичних картинок, тут робот може відчиняти шухляди, переставляти чашки у раковину або переносити бляшанки з полиці на стіл.

Перевірка надійності: 99% збігу з людською оцінкою Аби перевірити готовність робота до виходу в реальний світ, вчені протестували його алгоритми дій у 100 унікальних цифрових кімнатах SceneSmith. Спеціальний ШІ-агент оцінював спроби робота виконати побутові завдання та виявляв помилки в його коді. Оцінка штучного інтелекту на 99% збіглася з думкою людей-експертів, що дозволяє відсіювати невдалі алгоритми ще на етапі симуляції.

Ба більше, коли в систему завантажили робота, який раніше навчався лише в реальному світі й ніколи не бачив графіки SceneSmith, він без проблем зміг виконати команду «взяти яблуко з тарілки й покласти його на обробну дошку». Це доводить, що згенеровані світи практично не відрізняються від нашої повсякденної реальності.

Що далі? Головним компромісом технології є швидкість: ретельна перевірка та прорахунок фізичних властивостей кожного об'єкта вимагає кількох годин обчислень для однієї кімнати. Проте з нарощенням потужностей комп'ютерів цей процес прискориться. У майбутньому інженери планують навчити систему працювати з м'якими об'єктами (наприклад, губками для миття посуду), що зробить домашніх роботів ще більш універсальними та корисними.