Разработка японских ученых.
Японский исследователь представил новую методику под названием "описание мыслей", которая с помощью визуализации мозговой активности и искусственного интеллекта позволяет переводить возникающие в человеческом сознании образы в слова. Простым языком — читать мысли человека. Исследование было опубликовано в научно-популярном журнале "Science Advances".
"Центральной задачей современной нейронауки остается расшифровка мозговой активности, позволяющая выявить ментальный контент во всем его многообразии — со множеством составляющих и связей между ними. Несмотря на существенный прогресс в декодировании языковой информации из активности человеческого мозга, создание развернутых описаний сложного ментального содержания, основанного на структурированной визуальной семантике, по-прежнему представляет собой серьезный вызов", — пишет автор разработки Томоясу Хорикава из Лаборатории коммуникационных наук телекоммуникационной компании Nippon Telegraph and Telephone.
"В своей работе мы предлагаем метод, который с помощью семантических признаков, вычисляемых глубокой языковой моделью, способен генерировать описательный текст, отражающий мозговые репрезентации", — поясняет Хорикава.
Команда нейробиологов под его руководством провела исследование с участием шести добровольцев в возрасте от 22 до 37 лет, для которых японский язык является родным. Цель эксперимента — выяснить, как ментальные образы могут быть преобразованы в письменные описания.
В рамках эксперимента участникам демонстрировали 2180 видеороликов самого разного содержания: от изображений предметов и природных ландшафтов до сцен, показывающих движения людей и их повседневные действия. Во время просмотра мозговая активность фиксировалась с помощью функциональной магнитно-резонансной томографии (фМРТ).
Описание видеороликов предварительно преобразовывали в числовые последовательности с помощью крупных языковых моделей. Затем простые алгоритмы искусственного интеллекта обучали сопоставлять эти последовательности с данными мозговой активности, зарегистрированной во время просмотра.
Хорикаве удалось перевести возникавшие у участников образы — будь то восприятие увиденного или воспоминания об увиденном — в связные текстовые предложения. Эту технику он и назвал "описанием мыслей".
По словам исследователя, новый метод способен, анализируя способы обработки визуальной информации в мозге, формировать подробные текстовые описания объектов, мест, действий, событий и связей между ними.
Хорикава также подчеркнул, что разработанная техника работает независимо от языковых центров мозга, а потому может стать перспективным инструментом коммуникации для людей, утративших способность говорить из-за нейродегенеративных заболеваний.
комментарии