Solid State Humanity

ИИ пока не готов к самостоятельной работе в медицине. По крайней мере, в области диагностики во время диалога.

Исследование Гарвардского медицинского института и Стэнфордского университета выявило серьёзные недостатки ИИ в медицинской диагностике через диалог. При тестах с множественным выбором точность ИИ, таких как GPT-4, достигала 82%, но в сценариях с диалогами она падала до 26%. Используя систему CRAFT-MD, исследователи протестировали 4 модели ИИ на 2000 случаях из 12 медицинских областей.

Результаты показали, что ИИ плохо задаёт уточняющие вопросы, упускает детали и не может синтезировать данные из различных источников (симптомы, изображения, анализы). Это подчёркивает, что ИИ пока не может заменить врачей и должен использоваться только как вспомогательный инструмент. Улучшения должны включать работу с неструктурированными данными, интеграцию текста, изображений и измерений, а также учёт невербальных сигналов.

Nature

An evaluation framework for clinical use of large language models in patient interaction tasks

Nature Medicine - By simulating realistic doctor–patient conversations, a framework can be applied to large language models to investigate shortcomings and bias in patient interactions,...

www.group-telegram.com/us/solid_state_humanity.com/251

294 viewsJan 5 at 16:45

ИИ пока не готов к самостоятельной работе в медицине. По крайней мере, в области диагностики во время диалога.

Исследование Гарвардского медицинского института и Стэнфордского университета выявило серьёзные недостатки ИИ в медицинской диагностике через диалог. При тестах с множественным выбором точность ИИ, таких как GPT-4, достигала 82%, но в сценариях с диалогами она падала до 26%. Используя систему CRAFT-MD, исследователи протестировали 4 модели ИИ на 2000 случаях из 12 медицинских областей.

Результаты показали, что ИИ плохо задаёт уточняющие вопросы, упускает детали и не может синтезировать данные из различных источников (симптомы, изображения, анализы). Это подчёркивает, что ИИ пока не может заменить врачей и должен использоваться только как вспомогательный инструмент. Улучшения должны включать работу с неструктурированными данными, интеграцию текста, изображений и измерений, а также учёт невербальных сигналов.

BY Solid State Humanity