Роботы научились распознавать предметы с помощью взгляда и прикосновений

Людям довольно легко определить плотность и рельефность предмета, просто взглянув на него. С таким же успехом можно сказать, как выглядит объект, просто касаясь его с закрытыми глазами. Такие умения помогли бы роботам лучше взаимодействовать с предметами но, к сожалению, до сих пор они не были им доступны. Исследователи из Лаборатории искусственного интеллекта МТИ (CSAIL) решили эту проблему, оснастив роботизированную руку KUKA тактильным датчиком GelSight — таким образом, искусственный интеллект смог изучить связь между визуальной и тактильной информацией, и объединить их.

Использованный тактильный датчик GelSight был разработан группой инженеров под руководством Теда Адельсона в 2014 году. По своей сути он является электронной копией кончика человеческого пальца, в котором для создания трехмерной карты поверхности используется камера и чувствительная резиновая пленка. Устройство уже не раз было проверено в реальных условиях — например, однажды он помог роботу правильно подключить USB-кабель к порту.

Искусственный интеллект объединил органы осязания и зрения

В новом проекте датчик был установлен в робота KUKA, и объединен с искусственным интеллектом — таким образом роботизированная рука научилась на глаз определять рельефность предметов, и вслепую распознавать их форму. Для обучения системы использовался набор из 12 000 видеороликов с 200 объектами, такими как ткани, инструменты и бытовые предметы. Видео были разбиты по кадрам, и именно на их основе робот объединял тактильную и визуальную информацию.

На данный момент робот способен выполнять работу только в контролируемой среде, и только с заранее известными ему предметами. Разработчики системы хотят расширить его возможности, дав искусственному интеллекту больше данных для изучения.

Глядя на сцену, наша модель может представить себе ощущение прикосновения к плоской поверхности или к острому краю. Касаясь вслепую, она может определить форму предметов исключительно по тактильным ощущениям. Объединение этих двух чувств может расширить возможности робота и сократить объем данных, которые могут ему понадобиться для выполнения задач, связанных с манипулированием и захватом объектов, — объяснил Юньчжу Ли, аспирант CSAIL.

Роботы постоянно совершенствуются, и на данный момент даже умеют работать в команде. Например, разработанные в Калифорнийском университете в Беркли роботы-тараканы VelociRoACH недавно научились помогать друг другу вставать на ноги. Почитать об этом и посмотреть видео можно в нашем материале.

Если вам интересны новости науки и технологий, обязательно подпишитесь на наш канал в Яндекс.Дзен. Там вы найдете материалы, которые не были опубликованы на сайте!

{ «@context»: «http://schema.org», «@type»: «Article», «name»: «Роботы научились распознавать предметы с помощью взгляда и прикосновений», «headline»: «Роботы научились распознавать предметы с помощью взгляда и прикосновений», «author»: { «@type»: «Person», «name»: «Рамис Ганиев» }, «datePublished»: «2019-06-17 09:30:22», «dateModified»: «2019-06-17 08:47:37», «image»: [«https://hi-news.ru/wp-content/uploads/2019/06/kuka_robot-650×374.jpg»], «mainEntityOfPage»: «https://hi-news.ru/robots/roboty-nauchilis-raspoznavat-predmety-s-pomoshhyu-vzglyada-i-prikosnovenij.html», «publisher»: { «@type»: «Organization», «name»: «Hi-News.ru», «logo»: { «@type»: «ImageObject», «url»: «https://hi-news.ru/wp-content/themes/101media/img/hi-apps_mini.jpg» } } }