18.01.2025

Искусственный интеллект и нейронаука: как большие языковые модели обгоняют экспертов

С развитием науки и технологй, такие задачи, как предсказание результатов исследований, становятся всё более сложными. Одной из основных проблем является растущий объем опубликованных научных статей, что затрудняет обработку информации и затрудняет точные прогнозы. На фоне этих вызовов исследователи начали задумываться, могут ли большие языковые модели (LLM) помочь в решении подобных задач в нейронауке, а также в других областях, таких как сворачивание белков и открытие лекарств.

В 2023 году группа ученых под руководством Сяолян Луо провела исследование, результатом которого стал новый тест BrainBench, предназначенный для того, чтобы выяснить, могут ли LLM предсказать результаты нейронаучных исследований более точно, чем эксперты. Тест состоял из 200 примеров, основанных на рефератах исследований в нейронауках. Участники теста должны были определить, какая из двух версий одного и того же реферата была правильной — одну из версий намеренно изменяли, но остальная информация оставалась нетронутой.

Исследование привлекло 171 эксперта в области нейронаук, среди которых были докторанты, постдокторанты и научные сотрудники со средним стажем работы 10 лет. Тестировались как модели общего назначения, так и специализированная модель BrainGPT, настроенная на основе более 1,3 млрд текстов из нейронаучной литературы. BrainBench охватывает пять ключевых областей нейронауки: поведенческую и когнитивную, клеточную и молекулярную, системы и цепи, нейробиологию заболеваний, а также развитие, пластичность и восстановление.

Для оценки точности работы моделей использовалась метрика Perplexity, которая измеряет, насколько хорошо модель предсказывает текстовые последовательности, а точность работы человека оценивалась по количеству правильных ответов. Важным моментом было то, что тестовые элементы не входили в обучающие данные моделей, что исключало запоминание.

Результаты показали, что большие языковые модели значительно превосходят людей в точности предсказания результатов нейронаучных исследований. В среднем точность LLM составила 81,4%, в то время как эксперты достигли точности лишь 63,4%. Модель BrainGPT, специализированная для нейронаук, показала ещё более высокие результаты, превзойдя LLM общего назначения на 3% и продемонстрировав лучшее понимание во всех пяти ключевых областях теста.

Одним из ключевых преимуществ больших языковых моделей стало их умение интегрировать информацию из всего реферата, а не опираться только на отдельные детали, что особенно важно для научных исследований. Однако при тестировании только части текста, например, раздела с результатами, точность LLM снижалась. Это подтверждает, насколько важно для моделей понимать контекст и весь текст в целом.

Интересно, что как люди, так и LLM показывали более высокую точность, когда они были уверены в своих ответах. Однако модели демонстрировали более четкое соответствие между уровнем уверенности и правильностью своих предсказаний, что говорит о высоком уровне их предсказательной способности.

Успех больших языковых моделей в этом исследовании показывает их потенциал для распознавания закономерностей в нейронаучных исследованиях, что может существенно облегчить и ускорить научные открытия. Вместе с тем, авторы отмечают, что создание таких тестов требует больших трудозатрат и что полагаться исключительно на предсказания ИИ может затормозить инновации, если исследователи будут слишком доверяться им и избегать исследований, которые противоречат прогнозам искусственного интеллекта.

Кроме того, искусственный интеллект уже делает значительные успехи в медицине, помогая врачам анализировать изображения и выявлять аномалии, связанные с заболеваниями. Тем не менее, создание моделей, способных интегрировать различные типы данных, оставалось сложной задачей. Однако исследователи Стэнфордского медицинского университета разработали модель ИИ, способную эффективно комбинировать визуальную и языковую информацию, что открывает новые горизонты для мультидисциплинарных исследований и диагностики.

Оцените статью
ODELAX.RU
Подписаться
Уведомить о
guest
0 комментариев
Старые
Новые Популярные
Межтекстовые Отзывы
Посмотреть все комментарии
0
Оставьте комментарий! Напишите, что думаете по поводу статьи.x

Проверить франшизу

Спасибо
Ваша заявка отправлена
Скоро мы свяжемся с Вами