Telegram Group & Telegram Channel
#ИИ #диагностика #ихнравы

ChatGPT-4 превзошел врачей по качеству диагностики

Доктор Адам Родман, эксперт по внутренним болезням в медицинском центре Beth Israel Deaconess в Бостоне, даже не предполагал, что в результате эксперимента с постановкой диагноза с помощью генеративной нейросети ChatGPT-4 искусственный интеллект (ИИ) победит аналоговый. Впрочем, опишу всё в деталях.

Как пишет NY Times, в эксперименте приняли участие 50 врачей, среди которых были как ординаторы, так и лечащие врачи, набранные через несколько крупных американских больничных систем. Результаты эксперимента были опубликованы в журнале JAMA Network Open.

Испытуемым давали по 6 историй болезней и оценивали их способности ставить диагнозы и объяснять, почему они мыслят именно так. Оценивали результаты подопытных медицинские эксперты, которые видели только ответы участников, не зная, были ли они получены от врача, использующего ChatGPT-4, только от ChatGPT-4 и врача без ChatGPT-4. Участников оценивали по шкале от 0 до 100%.

Истории болезни, использованные в исследовании, были основаны на реальных пациентах и ​​являются частью набора из 105 случаев, которые использовались исследователями с 1990-х годов. Случаи намеренно никогда не публиковались, чтобы студенты-медики и другие могли пройти тестирование на них без какого-либо предварительного знания. Это также означало, что ChatGPT не мог быть обучен на них.

В результате эксперимента, чат-бот от компании OpenAI набрал в среднем 90% по качественному показателю диагностики заболеваний. Врачи, которым случайным образом было поручено использовать чат-бот, получили средний балл 76%. Те, кому было поручено не использовать ChatGPT-4, получили средний балл 74%.

После первоначального шока от результатов исследования доктор Родман решил немного глубже изучить данные и просмотреть фактические журналы сообщений между врачами и ChatGPT. Врачи видели диагнозы и рассуждения чат-бота, так почему же те, кто использовал чат-бот, не справились лучше?

Оказывается, врачи часто не доверяли чат-боту, когда он указывал на что-то, что противоречило их диагнозам. Вместо этого они, как правило, оставались верны своему собственному представлению о правильном диагнозе. Была и другая проблема: многие врачи не знали, как в полной мере использовать чат-бот.

Исследование выявило 2 главные проблемы, мешающие врачам полноценно работать с ИИ-инструментами: проблему недоверия к технологиям и отсутствие цифровых компетенций. Если вторая проблема решается с помощью обучения, то первую решить не так просто. Пройдет не один год прежде, чем врач научится доверять ИИ. Возможно, это к лучшему, так как у нейросетей случаются галлюцинации и полностью доверять им постановку диагноза не стоит.

@medicalksu



group-telegram.com/medicalksu/5364
Create:
Last Update:

#ИИ #диагностика #ихнравы

ChatGPT-4 превзошел врачей по качеству диагностики

Доктор Адам Родман, эксперт по внутренним болезням в медицинском центре Beth Israel Deaconess в Бостоне, даже не предполагал, что в результате эксперимента с постановкой диагноза с помощью генеративной нейросети ChatGPT-4 искусственный интеллект (ИИ) победит аналоговый. Впрочем, опишу всё в деталях.

Как пишет NY Times, в эксперименте приняли участие 50 врачей, среди которых были как ординаторы, так и лечащие врачи, набранные через несколько крупных американских больничных систем. Результаты эксперимента были опубликованы в журнале JAMA Network Open.

Испытуемым давали по 6 историй болезней и оценивали их способности ставить диагнозы и объяснять, почему они мыслят именно так. Оценивали результаты подопытных медицинские эксперты, которые видели только ответы участников, не зная, были ли они получены от врача, использующего ChatGPT-4, только от ChatGPT-4 и врача без ChatGPT-4. Участников оценивали по шкале от 0 до 100%.

Истории болезни, использованные в исследовании, были основаны на реальных пациентах и ​​являются частью набора из 105 случаев, которые использовались исследователями с 1990-х годов. Случаи намеренно никогда не публиковались, чтобы студенты-медики и другие могли пройти тестирование на них без какого-либо предварительного знания. Это также означало, что ChatGPT не мог быть обучен на них.

В результате эксперимента, чат-бот от компании OpenAI набрал в среднем 90% по качественному показателю диагностики заболеваний. Врачи, которым случайным образом было поручено использовать чат-бот, получили средний балл 76%. Те, кому было поручено не использовать ChatGPT-4, получили средний балл 74%.

После первоначального шока от результатов исследования доктор Родман решил немного глубже изучить данные и просмотреть фактические журналы сообщений между врачами и ChatGPT. Врачи видели диагнозы и рассуждения чат-бота, так почему же те, кто использовал чат-бот, не справились лучше?

Оказывается, врачи часто не доверяли чат-боту, когда он указывал на что-то, что противоречило их диагнозам. Вместо этого они, как правило, оставались верны своему собственному представлению о правильном диагнозе. Была и другая проблема: многие врачи не знали, как в полной мере использовать чат-бот.

Исследование выявило 2 главные проблемы, мешающие врачам полноценно работать с ИИ-инструментами: проблему недоверия к технологиям и отсутствие цифровых компетенций. Если вторая проблема решается с помощью обучения, то первую решить не так просто. Пройдет не один год прежде, чем врач научится доверять ИИ. Возможно, это к лучшему, так как у нейросетей случаются галлюцинации и полностью доверять им постановку диагноза не стоит.

@medicalksu

BY Medical Ксю




Share with your friend now:
group-telegram.com/medicalksu/5364

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

At the start of 2018, the company attempted to launch an Initial Coin Offering (ICO) which would enable it to enable payments (and earn the cash that comes from doing so). The initial signals were promising, especially given Telegram’s user base is already fairly crypto-savvy. It raised an initial tranche of cash – worth more than a billion dollars – to help develop the coin before opening sales to the public. Unfortunately, third-party sales of coins bought in those initial fundraising rounds raised the ire of the SEC, which brought the hammer down on the whole operation. In 2020, officials ordered Telegram to pay a fine of $18.5 million and hand back much of the cash that it had raised. Perpetrators of such fraud use various marketing techniques to attract subscribers on their social media channels. Telegram does offer end-to-end encrypted communications through Secret Chats, but this is not the default setting. Standard conversations use the MTProto method, enabling server-client encryption but with them stored on the server for ease-of-access. This makes using Telegram across multiple devices simple, but also means that the regular Telegram chats you’re having with folks are not as secure as you may believe. On Feb. 27, however, he admitted from his Russian-language account that "Telegram channels are increasingly becoming a source of unverified information related to Ukrainian events." Stocks closed in the red Friday as investors weighed upbeat remarks from Russian President Vladimir Putin about diplomatic discussions with Ukraine against a weaker-than-expected print on U.S. consumer sentiment.
from ar


Telegram Medical Ксю
FROM American