Чтобы поделиться своими мыслями и соображениями с другими людьми, всегда требовалась какая-то форма активного процесса, будь то слышимая речь, письменное сообщение или изобразительное искусство. Но что, если бы мы могли полностью пропустить этот шаг, позволив специальной системе передавать наши мысли напрямую? Команда нейробиологов из Техасского университета в Остине создала неинвазивную систему, которая преобразует мозговую активность в текст, эффективно передавая мысли без каких-либо дополнительных усилий со стороны пользователя.
Система в значительной степени опирается на функциональную магнитно-резонансную томографию (фМРТ) и машинное обучение. Благодаря способности фМРТ регистрировать мельчайшие электрические обмены и колебания кислорода в крови в мозге, это достойная замена более инвазивным методам, таким как хирургически имплантированные электроды, которые использовались в подобных экспериментах. Техника визуализации фиксирует высокоуровневые изменения, происходящие во время различных когнитивных действий, включая обработку речи, что позволяет ученым увидеть, что происходит в мозгу, когда определенные слова или модели слышатся, читаются или произносятся.
В статье, опубликованной в журнале Nature Neuroscience, ведущий автор и доцент Калифорнийского университета в Остине д-р Александр Хут рассказывает, что он и его коллеги начали с обучения своей системы машинного обучения при помощи снимков мозга добровольцев. Семь добровольцев слушали подкасты, в то время как аппарат фМРТ регистрировал активность их мозга. После этого снимки мозга были отправлены в систему, которая использовала ChatGPT и байесовское декодирование для создания прогнозируемых последовательностей из более чем 200 миллионов слов в подкастах. Поскольку шаблоны обработки в каждом мозгу немного отличаются, у каждого добровольца был свой собственный «нейронный отпечаток», с помощью которого декодер мог анализировать язык.
Затем команда Хута попросила добровольцев протестировать сам декодер. В некоторых экспериментах добровольцы снова слушали подкасты, в то время как аппарат фМРТ регистрировал активность их мозга. В других случаях добровольцев просили придумать свои собственные одноминутные истории. Третьи фиксировали активность мозга добровольцев, когда они смотрели короткие анимационные клипы без звука. Все это время декодер команды Хута переводил результаты сканирования мозга в текст.
Слева - серия фраз, "скормленных" добровольцам с помощью аудио; справа - текст, созданный дешифратором команды Хута.
Результаты, хотя и несовершенные, были поразительно близки к мыслям добровольцев. Декодер понял суть каждой истории; хотя некоторые короткие фразы были переведены неправильно, большинство событий и диалогов были точными. Для человека, не знакомого с декодером, тексты экспериментов «до» и «после» может показаться как история, переведенная с одного языка на другой.
Затем они решили проверить идею «умственной конфиденциальности», нейробиологи попросили добровольцев время от времени «сознательно сопротивляться» декодеру, считая, называя разных животных или даже обращая внимание на свои собственные воображаемые истории. Было обнаружено, что это снижает способность декодера улавливать историю, о которой идет речь, что навело исследователей на мысль о том, что активное мысленное участие может служить своего рода разрешением для работы декодера.
Так для чего это нужно? Команда считает, что их декодер может быть полезен в нейробиологических исследованиях. Подобная система перевода на основе фМРТ не только помогает раскрыть некоторые из самых больших загадок мозга, но и может в конечном итоге уступить место методам общения, которые поддерживают невербальные люди. Пока же они работают над добавлением новых языков и обновлением языковых моделей, чтобы улучшить навыки перевода декодера.
_
559
