Исследование, проведенное в Технионе и опубликованное в Nature Communications, показывает принципиальные различия между работой мозга человека и работой больших языковых моделей (LLMs) при восприятии и обработке длинных текстов. В отличие от искусственного интеллекта, который анализирует текст как единое целое, мозг создает своего рода «резюме» ранее услышанного материала, чтобы лучше понимать дальнейшее повествование.
Большие языковые модели (LLMs), такие как ChatGPT и Bard, представляют собой сложные алгоритмы, основанные на искусственных нейронных сетях. Эти технологии произвели революцию в обработке текстов, позволяя моделям генерировать текст, переводить с одного языка на другой и анализировать тональность сообщений. Хотя LLMs черпают вдохновение в работе человеческого мозга, исследователи Техниона обнаружили ключевое отличие в их способах обработки информации.
Исследование возглавили профессор Рои Райхарт и доктор Рафаэль Тикочинский из факультета наук о данных и принятии решений. Работа является частью докторской диссертации Тикочинского, выполненной под совместным руководством профессора Райхарта (Технион) и профессора Ури Хасона (Принстонский университет). В исследовании также приняли участие доктор Ариэль Гольдштейн (Еврейский университет) и магистрант Йоав Маири (Технион).
Исследование было основано на данных функциональной магнитно-резонансной томографии (fMRI), полученных у 219 испытуемых, которые слушали рассказы.
Ученые проверили, насколько хорошо существующие LLMs могут предсказать мозговую активность слушателей. Они обнаружили, что модели справляются с этой задачей, когда речь идет о коротких отрывках текста, состоящих из нескольких десятков слов. Однако с увеличением длины текста их точность резко снижается.
Причина заключается в различии подходов к обработке информации. Когда текст короткий, и мозг, и LLMs анализируют его целиком, обрабатывая все слова параллельно. Однако при восприятии длинного текста стратегии расходятся: искусственный интеллект продолжает обрабатывать его как единый массив данных, а мозг переключается в режим «накопления контекста». Это означает, что человек не запоминает всю информацию в деталях, а сохраняет её в виде кратких смысловых выжимок, которые помогают интерпретировать дальнейший текст.
Исследователи предположили, что именно это отличие объясняет неспособность LLMs точно предсказать активность мозга при восприятии длинных текстов. Чтобы проверить гипотезу, они разработали улучшенную модель, которая, подобно мозгу, создает динамические резюме услышанного материала. Этот модифицированный алгоритм позволил значительно повысить точность предсказания мозговой активности.
Такой подход помогает людям воспринимать большие объемы информации, например при прослушивании лекций, чтении книг или просматривании длинных видеоматериалов. Анализ данных fMRI также позволил ученым определить зоны мозга, отвечающие за обработку коротких и длинных текстовых фрагментов. Нижняя часть представленного исследователями графика иллюстрирует области мозга, работающие с небольшими текстами, тогда как верхняя часть демонстрирует зоны, ответственные за «накопление контекста» и формирование смыслового резюме.
Выводы исследования подчеркивают важность иерархической обработки информации в мозге. Они также дают новые инсайты для науки о мозге и перспективы для дальнейшего развития технологий искусственного интеллекта, направленного на улучшение обработки длинных текстов.
