Как увидеть мир чужими глазами?

Учёные из Института Вайцмана в Израиле разработали модель искусственного интеллекта Brain-IT, которая восстанавливает изображения, увиденные человеком, по данным о работе его мозга.

Эксперимент выглядит следующим образом: человека помещают в аппарат функциональной магнитно-резонансной томографии (фМРТ) и показывают ему изображение – например, жирафа, птиц на ветке или башню с часами. Аппарат фиксирует изменения активности различных участков мозга и получает своего рода карту мозговой активности.

Компьютер при этом исходной картинки не видит. Ему дают только информацию о том, что происходило в мозге человека, пока тот на неё смотрел. Затем искусственный интеллект на основании этих данных создаёт изображение. Получается, конечно, не фотография оригинала. Если человеку показали конкретного жирафа, система не обязательно нарисует того же самого жирафа с теми же пятнами и деревом на заднем плане. Но она способна восстановить содержание и общую структуру сцены: животное, человека, предметы, их форму и расположение.

При этом Brain-IT добилась заметного прогресса в точности реконструкции. В отличие от ряда предшествующих систем, модель стремится передавать не только смысл увиденного, но и детали композиции, расположение объектов и цветовые характеристики. По результатам исследователей, она превосходит сравниваемые методы по семи из восьми использованных количественных показателей.

Мы давно умеем наблюдать, какие участки мозга активируются, когда человек что-то видит. Теперь исследователи пытаются решить обратную задачу: имея только карту активности мозга, восстановить содержание того, что человек видел.

Для обучения модели учёные использовали Natural Scenes Dataset – базу данных, включающую около 73 тысяч пар «изображение – запись активности мозга». Данные собрали у восьми участников, каждый из которых просмотрел тысячи изображений во время многочисленных сеансов фМРТ. Это показывает, насколько трудоёмко создавать материал для подобных исследований: алгоритму нужны не просто картинки, а соответствующие им записи мозговой активности.

Есть и ещё одна важная особенность. Предыдущим моделям для адаптации к новому человеку могли требоваться десятки часов сканирования. По данным команды Brain-IT, новой системе достаточно примерно одного часа записей активности мозга нового участника, чтобы получить результаты, сопоставимые с результатами прежних методов, обученных на 40 часах данных. На исследовательском сайте команды также представлены эксперименты с ещё меньшим объёмом данных, хотя качество реконструкции зависит от условий и конкретного участника.

Например, после некоторых тяжёлых повреждений мозга человек может сохранять сознание, видеть и понимать происходящее вокруг, но практически лишиться возможности двигаться и говорить. Иногда врачам чрезвычайно трудно даже определить, насколько такой пациент сохраняет контакт с внешним миром.

Помните физика Стивена Хокинга, который много лет общался с миром при помощи компьютера? В последние годы он уже почти не мог двигаться, но сохранял контроль над одной мышцей щеки. Инфракрасный датчик, закреплённый на его очках, улавливал едва заметное движение этой мышцы. Так Хокинг перемещался по буквам и словам на экране, выбирал нужные, составлял предложения, а синтезатор речи произносил их вслух. Это было медленно – под конец жизни всего несколько слов в минуту, – но для общения компьютеру всё равно требовался физический сигнал от тела.

А что делать, если человек не может двигать даже щекой, пальцем или глазами, хотя его мозг продолжает работать и он понимает происходящее вокруг? Следующий шаг – попытаться обойти тело и получать информацию непосредственно из активности мозга. Именно в этом направлении движутся исследования нейрокомпьютерных интерфейсов.

Здесь важно различать две технологии. Brain-IT восстанавливает зрительные образы по данным фМРТ. Другие исследовательские группы разрабатывают интерфейсы, которые декодируют сигналы мозга, связанные с попыткой говорить, и преобразуют их в текст или синтезированную речь. Такие системы уже демонстрировали возможность помогать людям с тяжёлыми двигательными нарушениями, однако требуют индивидуальной настройки и пока не являются универсальным решением.

До чтения мыслей отсюда очень далеко. Brain-IT работает в контролируемых условиях и декодирует пока что лишь зрительную информацию. Система не получает готовую картинку из мозга: она анализирует закономерности активности, а затем использует генеративную модель для восстановления вероятного изображения. Поэтому результат может передавать смысл увиденного, но не обязан точно совпадать с оригиналом.

Потенциал такой технологии огромен. В перспективе подобные методы могут помочь исследовать зрительное восприятие и создать новые способы общения для людей, которые не способны пользоваться обычными средствами коммуникации. Но до этого необходимо решить вопросы точности, надёжности и практического применения.

Следующая большая задача – научиться восстанавливать не отдельные неподвижные изображения, а непрерывный поток зрительной информации. Исследователи Института Вайцмана рассматривают также возможность декодирования звуков. А чтение сновидений пока остаётся гипотезой: для восстановления сна нужно отслеживать быстро меняющиеся образы, тогда как фМРТ регистрирует изменения активности сравнительно медленно.