Японскую нейросеть научили «читать мысли»

Похоже на то, что компьютеры уже могут читать наши мысли. Автозаполнение Google, возможные друзья в Facebook и таргетированная реклама, которая всплывает у вас в браузере, иногда заставляют вас задуматься: как это работает? Мы медленно, но уверенно движемся в направлении компьютеров, читающих наши мысли, и новое исследование из Киото, Япония, стало недвусмысленным шагом в этом направлении.

Команда ученых из Киотского университета использовала глубокую нейронную сеть, чтобы читать и интерпретировать мысли людей. Звучит невероятно? На самом деле подобное проделывают уже не в первый раз. Разница в том, что предыдущие методы — и результаты — были проще, они деконструировали изображения на основе и пикселей, и основных контуров. Новая технология, получившая название «глубокая реконструкция изображения», выходит за пределы двоичных пикселей и дает исследователям возможность декодировать изображения с несколькими слоями цвета и текстурой.

«Наш мозг обрабатывает визуальную информацию путем иерархического извлечения черт разных уровней или компонентов разной сложности», говорит Юкиясу Камитани, один из ученых, принимавших участие в исследовании. «Эти нейронные сети или модели ИИ могут быть использованы как прокси для иерархической структуры человеческого мозга».

Исследование проходило 10 месяцев. В рамках исследования три человека изучали изображения трех разных категорий: природные явления (животные или люди), искусственные геометрические фигуры и буквы алфавита.

Активность мозга наблюдателей измерялась либо во время просмотра изображений, либо после. Чтобы измерить активность мозга после просмотра изображений, людей просто просили подумать об изображениях, которые им показывали.

Записанную активность затем скармливали нейронной сети, которая «декодировала» данные и использовала их для генерации собственных интерпретаций мыслей людей.

У людей (и, по сути, всех млекопитающих) зрительная кора расположена в задней части мозга, в затылочной доле, которая над мозжечком. Активность в зрительной коре измеряли с использованием функциональной магнитно-резонансной томографии (фМРТ), которая преобразовалась в иерархические особенности глубокой нейронной сети.

Начиная со случайного изображения, сеть многократно оптимизирует значения пикселей этого изображения. Особенности вводного в нейросеть изображения становятся похожими на особенности, декодированные из активности мозга.

Что важно, модель ученых обучалась с использованием только натуральных изображений (людей или природы), но научилась реконструировать искусственные формы. Это значит, что модель действительно «генерировала» изображения, отталкиваясь от активности мозга, а не сопоставляла эту активность с существующими примерами.

Неудивительно, что модель с трудом декодировала активность мозга, когда людей просили вспомнить изображения, и ей проще, когда они напрямую просматривали эти изображения. Наши мозги не могут вспомнить всех деталей увиденных изображений, поэтому воспоминания всегда будут расплывчатыми.

Реконструированные изображения из исследования сохраняют некоторое сходство с исходными изображениями, которые просматривали участники, но по большей части выглядят как минимально детализированные кляксы. Однако точность технологии будет только улучшаться, а вместе с тем будут расширяться и возможные применения.

Представьте себе «мгновенное искусство», когда вы можете создать произведение искусства, просто представив его в своей голове. Или если ИИ будет записывать активность вашего мозга, пока вы спите, а затем воссоздавать ваши сны для анализа? В прошлом году полностью парализованные пациенты впервые смогли пообщаться со своими семьями с помощью нейрокомпьютерного интерфейса.

Есть масса возможных применений модели, используемой в Киотском исследовании. Но нейрокомпьютерные интерфейсы также могут воссоздавать жуткие образы, если мы не научимся должным образом интерпретировать активность мозга. Цена ошибки в случае неправильного прочтения мыслей может быть слишком высокой.

При всем этом японская компания не одинока в своих усилиях по созданию читающего мысли ИИ. Илон Маск основал Neuralink с целью создания нейрокомпьютерного интерфейса, соединяющего людей и компьютеры. Kernel работает над созданием чипов, которые могут считывать и записывать нейронный код. Чтение мыслей понемногу развивается.