Boom! Science™

Искусственный интеллект на базе больших языковых моделей (БЯМ) показал способность предсказывать результаты нейробиологических исследований с точностью, превышающей показатели даже опытных учёных.

Используя инструмент BrainBench, исследователи оценили способность БЯМ распознавать реальные научные результаты. BrainBench состоит из пар научных абстрактов, где один содержит достоверные данные, а другой — модифицированные экспертами правдоподобные, но неверные результаты. В тесте участвовали 15 моделей ИИ и 171 специалист в области нейробиологии.

По итогам эксперимента БЯМ показали среднюю точность 81%, тогда как эксперты справились с задачей лишь на 63%. Даже среди самых квалифицированных участников точность не превышала 66%. Специализированная модель BrainGPT, разработанная на основе открытой БЯМ Mistral и обученная на данных из нейробиологии, достигла 86% точности, что на 5% выше, чем у универсальной версии.

Профессор Брэдли Лав из UCL считает, что ИИ способен не только находить закономерности в научной литературе, но и потенциально помогать в проектировании экспериментов. Он подчеркнул, что результаты показывают, что многие научные исследования предсказуемы, так как базируются на уже существующих данных.

Разработчики инструмента также отметили, что уверенность БЯМ в своих решениях коррелировала с правильностью ответов. Это открывает возможности для сотрудничества учёных с ИИ, где модель могла бы предоставлять рекомендации, основанные на вероятности успеха того или иного подхода.

Профессор Лав добавил, что их подход универсален и может применяться к любой научной области, что делает инструменты на базе БЯМ полезными для ускорения научного прогресса. В дальнейшем команда намерена разработать платформу, которая поможет исследователям оценивать и корректировать свои эксперименты ещё до их проведения.

👉Boom! Science

www.group-telegram.com/in/boomscience.com/4587

1.3K viewsDec 1 at 05:14

Искусственный интеллект на базе больших языковых моделей (БЯМ) показал способность предсказывать результаты нейробиологических исследований с точностью, превышающей показатели даже опытных учёных.

Используя инструмент BrainBench, исследователи оценили способность БЯМ распознавать реальные научные результаты. BrainBench состоит из пар научных абстрактов, где один содержит достоверные данные, а другой — модифицированные экспертами правдоподобные, но неверные результаты. В тесте участвовали 15 моделей ИИ и 171 специалист в области нейробиологии.

По итогам эксперимента БЯМ показали среднюю точность 81%, тогда как эксперты справились с задачей лишь на 63%. Даже среди самых квалифицированных участников точность не превышала 66%. Специализированная модель BrainGPT, разработанная на основе открытой БЯМ Mistral и обученная на данных из нейробиологии, достигла 86% точности, что на 5% выше, чем у универсальной версии.

Профессор Брэдли Лав из UCL считает, что ИИ способен не только находить закономерности в научной литературе, но и потенциально помогать в проектировании экспериментов. Он подчеркнул, что результаты показывают, что многие научные исследования предсказуемы, так как базируются на уже существующих данных.

Разработчики инструмента также отметили, что уверенность БЯМ в своих решениях коррелировала с правильностью ответов. Это открывает возможности для сотрудничества учёных с ИИ, где модель могла бы предоставлять рекомендации, основанные на вероятности успеха того или иного подхода.

Профессор Лав добавил, что их подход универсален и может применяться к любой научной области, что делает инструменты на базе БЯМ полезными для ускорения научного прогресса. В дальнейшем команда намерена разработать платформу, которая поможет исследователям оценивать и корректировать свои эксперименты ещё до их проведения.

👉Boom! Science

BY Boom! Science™