Новости
Нейросеть теперь умеет "видеть" мысли человека
Российские ученые из "Нейроботикс" и МФТИ научили нейросеть анализировать активность человеческого мозга и воссоздавать изображения, которые видит человек.
Группа исследователей разработала интерфейс, который снимает электроэнцефалограмму и нейросеть, обрабатывающую получаемые сигналы, — она воссоздает визуальные образы, наблюдаемые человеком.
Эксперимент проходил в два этапа. Сначала были выбраны 5 различных "сюжетов" видео с YouTube — лица, водопады, скорость, абстракции, движущиеся механизмы. В соответствием с ними были выбраны 10-секундные видео для просмотра во время эксперимента. Во время просмотра записывали сигналы ЭЭГ испытуемых записывались, общая длительность записи каждого участника составила 20 минут. Анализ активности волн уже на первом этапе эксперимента показал, что ролики разных категорий вызывают различную волновую активность головного мозга.
Для следующего этапа эксперимента из уже имеющихся категорий выбрали 3 случайных. Учеными были разработаны 2 нейросети. Первая — создавала случайные изображения этих категорий из "шума", а вторая генерировала похожий "шум" из электроэнцефалограммы. Финальным этапом работы с этими нейросетями было их обучение совместной работе таким образом, чтобы нейросети по ЭЭГ-сигналам генерировали кадры, похожие на те, которые просматривают люди в момент снятия ЭЭГ.
Для объективности участники эксперимента смотрели неизвестные им видео из выбранных на первом этапе категорий. Сигналы ЭЭГ записывались и отправлялись на обработку в режиме real-time.
