Medical Ксю

#ИИ #диагностика #ихнравы

ChatGPT-4 превзошел врачей по качеству диагностики

Доктор Адам Родман, эксперт по внутренним болезням в медицинском центре Beth Israel Deaconess в Бостоне, даже не предполагал, что в результате эксперимента с постановкой диагноза с помощью генеративной нейросети ChatGPT-4 искусственный интеллект (ИИ) победит аналоговый. Впрочем, опишу всё в деталях.

Как пишет NY Times, в эксперименте приняли участие 50 врачей, среди которых были как ординаторы, так и лечащие врачи, набранные через несколько крупных американских больничных систем. Результаты эксперимента были опубликованы в журнале JAMA Network Open.

Испытуемым давали по 6 историй болезней и оценивали их способности ставить диагнозы и объяснять, почему они мыслят именно так. Оценивали результаты подопытных медицинские эксперты, которые видели только ответы участников, не зная, были ли они получены от врача, использующего ChatGPT-4, только от ChatGPT-4 и врача без ChatGPT-4. Участников оценивали по шкале от 0 до 100%.

Истории болезни, использованные в исследовании, были основаны на реальных пациентах и ​​являются частью набора из 105 случаев, которые использовались исследователями с 1990-х годов. Случаи намеренно никогда не публиковались, чтобы студенты-медики и другие могли пройти тестирование на них без какого-либо предварительного знания. Это также означало, что ChatGPT не мог быть обучен на них.

В результате эксперимента, чат-бот от компании OpenAI набрал в среднем 90% по качественному показателю диагностики заболеваний. Врачи, которым случайным образом было поручено использовать чат-бот, получили средний балл 76%. Те, кому было поручено не использовать ChatGPT-4, получили средний балл 74%.

После первоначального шока от результатов исследования доктор Родман решил немного глубже изучить данные и просмотреть фактические журналы сообщений между врачами и ChatGPT. Врачи видели диагнозы и рассуждения чат-бота, так почему же те, кто использовал чат-бот, не справились лучше?

Оказывается, врачи часто не доверяли чат-боту, когда он указывал на что-то, что противоречило их диагнозам. Вместо этого они, как правило, оставались верны своему собственному представлению о правильном диагнозе. Была и другая проблема: многие врачи не знали, как в полной мере использовать чат-бот.

Исследование выявило 2 главные проблемы, мешающие врачам полноценно работать с ИИ-инструментами: проблему недоверия к технологиям и отсутствие цифровых компетенций. Если вторая проблема решается с помощью обучения, то первую решить не так просто. Пройдет не один год прежде, чем врач научится доверять ИИ. Возможно, это к лучшему, так как у нейросетей случаются галлюцинации и полностью доверять им постановку диагноза не стоит.

@medicalksu

NY Times

A.I. Chatbots Defeated Doctors at Diagnosing Illness

A small study found ChatGPT outdid human physicians when assessing medical case histories, even when those doctors were using a chatbot.

www.group-telegram.com/in/medicalksu.com/5364

1.8K viewsNov 22 at 10:01

#ИИ #диагностика #ихнравы

ChatGPT-4 превзошел врачей по качеству диагностики

Доктор Адам Родман, эксперт по внутренним болезням в медицинском центре Beth Israel Deaconess в Бостоне, даже не предполагал, что в результате эксперимента с постановкой диагноза с помощью генеративной нейросети ChatGPT-4 искусственный интеллект (ИИ) победит аналоговый. Впрочем, опишу всё в деталях.

Как пишет NY Times, в эксперименте приняли участие 50 врачей, среди которых были как ординаторы, так и лечащие врачи, набранные через несколько крупных американских больничных систем. Результаты эксперимента были опубликованы в журнале JAMA Network Open.

Испытуемым давали по 6 историй болезней и оценивали их способности ставить диагнозы и объяснять, почему они мыслят именно так. Оценивали результаты подопытных медицинские эксперты, которые видели только ответы участников, не зная, были ли они получены от врача, использующего ChatGPT-4, только от ChatGPT-4 и врача без ChatGPT-4. Участников оценивали по шкале от 0 до 100%.

Истории болезни, использованные в исследовании, были основаны на реальных пациентах и ​​являются частью набора из 105 случаев, которые использовались исследователями с 1990-х годов. Случаи намеренно никогда не публиковались, чтобы студенты-медики и другие могли пройти тестирование на них без какого-либо предварительного знания. Это также означало, что ChatGPT не мог быть обучен на них.

В результате эксперимента, чат-бот от компании OpenAI набрал в среднем 90% по качественному показателю диагностики заболеваний. Врачи, которым случайным образом было поручено использовать чат-бот, получили средний балл 76%. Те, кому было поручено не использовать ChatGPT-4, получили средний балл 74%.

После первоначального шока от результатов исследования доктор Родман решил немного глубже изучить данные и просмотреть фактические журналы сообщений между врачами и ChatGPT. Врачи видели диагнозы и рассуждения чат-бота, так почему же те, кто использовал чат-бот, не справились лучше?

Оказывается, врачи часто не доверяли чат-боту, когда он указывал на что-то, что противоречило их диагнозам. Вместо этого они, как правило, оставались верны своему собственному представлению о правильном диагнозе. Была и другая проблема: многие врачи не знали, как в полной мере использовать чат-бот.

Исследование выявило 2 главные проблемы, мешающие врачам полноценно работать с ИИ-инструментами: проблему недоверия к технологиям и отсутствие цифровых компетенций. Если вторая проблема решается с помощью обучения, то первую решить не так просто. Пройдет не один год прежде, чем врач научится доверять ИИ. Возможно, это к лучшему, так как у нейросетей случаются галлюцинации и полностью доверять им постановку диагноза не стоит.

@medicalksu

BY Medical Ксю