Разработка MIT помогает роботам распознавать подтекст человеческих команд

Исследователи Массачусетского технологического института и Нью-Йоркского университета разработали платформу FLEX, позволяющую роботам понимать не только прямые указания, но и скрытые в них требования. Система анализирует слова человека и самостоятельно определяет дополнительные правила, которые следует учитывать при выполнении задачи.

Например, если пользователь просит принести кофе и предупреждает не задеть ноутбук, робот делает вывод, что нужно избегать контакта и с другими электронными устройствами поблизости. Таким образом, машина учитывает общий смысл запрета, а не ограничивается конкретным предметом, названным человеком.

В основе FLEX лежит большая языковая модель. Как объяснил научный сотрудник MIT Натан Денглер, люди обычно автоматически понимают подтекст высказываний, тогда как роботам требуется специальный механизм для распознавания подобных нюансов.

Алгоритм работает в три этапа. Сначала система определяет объекты, важные для выполнения задания. Затем GPT-4 анализирует полученную информацию и формулирует общее правило. К примеру, запрет задевать одну кружку может превратиться в требование обходить все хрупкие предметы. После этого компьютерное зрение проверяет окружающую обстановку и исключает из списка объекты, которые уже отсутствуют. Весь цикл занимает около пяти секунд.

Возможности платформы проверили в симуляциях. Робот выполнял задания по подаче кофе, перемещению свечи и переносу шара для боулинга. При этом он должен был учитывать указания не приближаться к стопке бумаги и не ронять предметы на кружку, а также самостоятельно распространять ограничения на другие потенциально опасные объекты — электронику, хрупкие и легковоспламеняющиеся вещи.

Руководитель проекта Андреа Бобу отметила, что предпочтения пользователей могут различаться, однако FLEX способна определить индивидуальные требования всего по одной-двум фразам.

Результаты исследования планируют представить на ежегодной конференции по машинному обучению. Часть работы получила финансовую поддержку MIT Generative AI Impact Consortium и программы MIT Schwarzman College of Computing, сообщает "Самара Онлайн 24".