أداء نموذج لغوي كبير في مهام الاستدلال التي يقوم بها الطبيب (Performance of a large language model on the reasoning tasks of a physician)
لم تعد اختبارات الطب ذات الخيارات المتعددة قادرة على التمييز بين أنظمة الذكاء الاصطناعي القوية والضعيفة، لذلك طرح فريق من كلية الطب بجامعة هارفارد ومركز بيث إسرائيل ديكونس الطبي سؤالًا أصعب: هل يستطيع نموذج استدلالي أن يؤدي الأحكام المفتوحة التي يتخذها الأطباء كل يوم؟ أجرى الفريق خمس تجارب باستخدام نموذج o1 من OpenAI، شملت التشخيص التفريقي، وشرح منطق التشخيص، والفرز الأولي، والاستدلال الاحتمالي، ووضع خطة العلاج، وتولّى أطباء ممارسون تقييم المخرجات بأدوات قياس معتمدة. تضمّن الاختبار 143 حالة من مؤتمرات الحالات السريرية في مجلة نيو إنجلاند الطبية، وحالات محاكاة صعبة، ومقارنة واقعية على 76 مريضًا اختيروا عشوائيًا من قسم الطوارئ في مستشفى ببوسطن، حيث قرأ النموذج وطبيبان استشاريان الملف نفسه في ثلاث مراحل: الفرز، والتقييم الأولي، وقرار التنويم. ضاهى النموذج الأطباء أو تفوّق عليهم في معظم المهام؛ ففي مرحلة الفرز، حين لا تتوافر سوى العلامات الحيوية وملاحظة موجزة من الممرض، قدّم تشخيصًا صحيحًا أو قريبًا جدًا بنسبة أعلى بوضوح من الطبيبين، وعندما توافرت معلومات أكثر تقلّص الفارق ولم يعد ذا دلالة إحصائية.
أبرز النتائج
- في 143 حالة من مجلة نيو إنجلاند الطبية قدّم النموذج الاستدلالي التشخيص الصحيح أو القريب منه بنسبة تفوق GPT-4 بوضوح.
- كان تفوّق النموذج أكبر في مرحلة الفرز حين تكون المعلومات أقل، ولم يستطع المقيّمون المعمّون التمييز بين مخرجات النموذج ومخرجات الأطباء على نحو موثوق.
- يؤكد المؤلفون أن النموذج اعتمد فقط على نصوص كتبها آخرون، ويدعون إلى تجارب سريرية استباقية قبل أي تطبيق فعلي.
لماذا يهم؟
تستثمر مستشفيات الخليج بقوة في الصحة الرقمية، وهذه أول أدلة محكّمة في مجلة علمية كبرى على أن نموذج استدلال عام يمكنه مجاراة المتخصصين في حالات طوارئ حقيقية. تدعم الدراسة فكرة الذكاء الاصطناعي بوصفه رأيًا ثانيًا في اللحظات التي يملك فيها الطبيب أقل المعلومات، مع التأكيد على أن التجارب والحوكمة وإشراف الأطباء يجب أن تسبق أي اعتماد.
