group-telegram.com/medicalksu/5364
Last Update:
#ИИ #диагностика #ихнравы
ChatGPT-4 превзошел врачей по качеству диагностики
Доктор Адам Родман, эксперт по внутренним болезням в медицинском центре Beth Israel Deaconess в Бостоне, даже не предполагал, что в результате эксперимента с постановкой диагноза с помощью генеративной нейросети ChatGPT-4 искусственный интеллект (ИИ) победит аналоговый. Впрочем, опишу всё в деталях.
Как пишет NY Times, в эксперименте приняли участие 50 врачей, среди которых были как ординаторы, так и лечащие врачи, набранные через несколько крупных американских больничных систем. Результаты эксперимента были опубликованы в журнале JAMA Network Open.
Испытуемым давали по 6 историй болезней и оценивали их способности ставить диагнозы и объяснять, почему они мыслят именно так. Оценивали результаты подопытных медицинские эксперты, которые видели только ответы участников, не зная, были ли они получены от врача, использующего ChatGPT-4, только от ChatGPT-4 и врача без ChatGPT-4. Участников оценивали по шкале от 0 до 100%.
Истории болезни, использованные в исследовании, были основаны на реальных пациентах и являются частью набора из 105 случаев, которые использовались исследователями с 1990-х годов. Случаи намеренно никогда не публиковались, чтобы студенты-медики и другие могли пройти тестирование на них без какого-либо предварительного знания. Это также означало, что ChatGPT не мог быть обучен на них.
В результате эксперимента, чат-бот от компании OpenAI набрал в среднем 90% по качественному показателю диагностики заболеваний. Врачи, которым случайным образом было поручено использовать чат-бот, получили средний балл 76%. Те, кому было поручено не использовать ChatGPT-4, получили средний балл 74%.
После первоначального шока от результатов исследования доктор Родман решил немного глубже изучить данные и просмотреть фактические журналы сообщений между врачами и ChatGPT. Врачи видели диагнозы и рассуждения чат-бота, так почему же те, кто использовал чат-бот, не справились лучше?
Оказывается, врачи часто не доверяли чат-боту, когда он указывал на что-то, что противоречило их диагнозам. Вместо этого они, как правило, оставались верны своему собственному представлению о правильном диагнозе. Была и другая проблема: многие врачи не знали, как в полной мере использовать чат-бот.
Исследование выявило 2 главные проблемы, мешающие врачам полноценно работать с ИИ-инструментами: проблему недоверия к технологиям и отсутствие цифровых компетенций. Если вторая проблема решается с помощью обучения, то первую решить не так просто. Пройдет не один год прежде, чем врач научится доверять ИИ. Возможно, это к лучшему, так как у нейросетей случаются галлюцинации и полностью доверять им постановку диагноза не стоит.
@medicalksu
BY Medical Ксю
Share with your friend now:
group-telegram.com/medicalksu/5364