Результати великої мовної моделі в завданнях лікарського міркування (Performance of a large language model on the reasoning tasks of a physician)
Медичні іспити з вибором відповіді вже не відрізняють сильні системи ШІ від слабких, тому команда під керівництвом Гарвардської медичної школи та Медичного центру Бет-Ізраель Діконесс поставила складніше запитання: чи здатна модель із міркуванням упоратися з відкритими судженнями, які лікарі ухвалюють щодня? Дослідники провели п'ять експериментів із моделлю o1 від OpenAI, що охоплювали диференційну діагностику, пояснення діагностичних міркувань, сортування пацієнтів (тріаж), імовірнісні міркування та планування лікування, а результати оцінювали практикуючі лікарі за валідованими шкалами. Тестовий набір включав 143 клініко-патологічні випадки з New England Journal of Medicine, складні змодельовані випадки та порівняння в реальних умовах на 76 випадково відібраних пацієнтах відділення невідкладної допомоги в Бостоні, де модель і двоє чергових лікарів читали ту саму карту в три моменти: під час тріажу, первинного огляду та ухвалення рішення про госпіталізацію. Модель зрівнялася з лікарями або перевершила їх у більшості завдань. На етапі тріажу, коли були доступні лише життєві показники та короткий запис медсестри, вона ставила точний або дуже близький діагноз значно частіше за лікарів; коли надходило більше інформації, розрив скорочувався й переставав бути статистично значущим.
Основні висновки
- На 143 клінічних розборах NEJM модель із міркуванням давала правильний або дуже близький діагноз помітно частіше, ніж GPT-4.
- У тесті у відділенні невідкладної допомоги перевага моделі була найбільшою на етапі тріажу, коли інформації було найменше; рецензенти, які не знали авторства, не могли надійно відрізнити відповіді ШІ від відповідей лікарів.
- Автори наголошують, що модель лише читала тексти, написані іншими, і закликають до проспективних клінічних випробувань перед будь-яким упровадженням.
Чому це важливо
Лікарні країн Затоки активно інвестують у цифрову медицину, і це перший рецензований доказ у провідному журналі, що модель загального призначення з міркуванням може конкурувати з фахівцями на реальних невідкладних випадках. Робота обґрунтовує роль ШІ як другої думки в моменти, коли клініцисти мають найменше інформації, водночас чітко вказуючи, що спершу мають бути випробування, управління та лікарський нагляд.



