Solid State Humanity

ИИ, использующий большие языковые модели для анализа текста, может точнее предсказать результаты нейробиологических исследований, чем люди.

В тесте, в котором участвовали 15 LLM и 171 квалифицированный нейробиолог, LLM показали точность 81%, в то время как у специалистов она составила 63%. Когда LLM были уверены в своем решении, их точность была еще выше.

Адаптировав модель Mistral для нейробиологии (BrainGPT), исследователи добились точности 86%. Это открывает перспективы для использования ИИ в проектировании экспериментов и прогнозировании их результатов. В будущем такие инструменты могут ускорить научные исследования и помочь ученым быстрее и точнее разрабатывать экспериментальные стратегии.

Когда модель сравнивает две аннотации, она присваивает каждой из них "перплексионный" балл, который показывает, насколько она неожиданна или нелогична, исходя из того, что модель уже знает. Исследователи измеряли, как сильно модель находит разницу между реальной и фальшивой аннотацией. Чем больше эта разница, тем увереннее модель в своем выборе, и тем выше вероятность, что она выберет правильную аннотацию.

UCL News

AI can predict study results better than human experts

Large language models, a type of AI that analyses text, can predict the results of proposed neuroscience studies more accurately than human experts, finds a new study led by UCL researchers.

www.group-telegram.com/us/solid_state_humanity.com/163

398 viewsNov 28 at 18:44

ИИ, использующий большие языковые модели для анализа текста, может точнее предсказать результаты нейробиологических исследований, чем люди.

В тесте, в котором участвовали 15 LLM и 171 квалифицированный нейробиолог, LLM показали точность 81%, в то время как у специалистов она составила 63%. Когда LLM были уверены в своем решении, их точность была еще выше.

Адаптировав модель Mistral для нейробиологии (BrainGPT), исследователи добились точности 86%. Это открывает перспективы для использования ИИ в проектировании экспериментов и прогнозировании их результатов. В будущем такие инструменты могут ускорить научные исследования и помочь ученым быстрее и точнее разрабатывать экспериментальные стратегии.

Когда модель сравнивает две аннотации, она присваивает каждой из них "перплексионный" балл, который показывает, насколько она неожиданна или нелогична, исходя из того, что модель уже знает. Исследователи измеряли, как сильно модель находит разницу между реальной и фальшивой аннотацией. Чем больше эта разница, тем увереннее модель в своем выборе, и тем выше вероятность, что она выберет правильную аннотацию.

BY Solid State Humanity