هوش مصنوعی هنوز برای تشخیص پزشکی آماده نیست: شکست در ۸۰ درصد موارد

چالش‌های هوش مصنوعی در تشخیص پزشکی

محققان بیمارستان Mass General Brigham بوستون در یافته‌های خود اعلام کرده‌اند که چت‌بات‌های هوش مصنوعی، اگرچه با دسترسی به اطلاعات بالینی جامع در تشخیص بیماری‌ها عملکرد نسبتاً خوبی از خود نشان می‌دهند، اما در مرحله تشخیص افتراقی در بیش از ۸۰ درصد مواقع ناکام می‌مانند. این نقص، توانایی استدلال بالینی هوش مصنوعی را زیر سؤال برده و استفاده ایمن از آن را در محیط‌های درمانی با تردید مواجه می‌کند.

روش‌شناسی و نتایج مطالعه

پژوهشگران در این مطالعه گسترده، جدیدترین نسخه‌های مدل‌های زبانی مانند جمینای، GPT، گراک، Claude و دیپ‌سیک را مورد آزمایش قرار دادند. این مدل‌ها با استفاده از ابزار تخصصی PrIME-LLM، در ۲۹ آزمون بالینی استاندارد ارزیابی شدند. ابزار PrIME-LLM برای سنجش توانایی‌های مدل در مراحل مختلف استدلال بالینی طراحی شده است؛ از تشخیص اولیه و مرتب‌سازی نتایج آزمایشات گرفته تا رسیدن به تشخیص نهایی و برنامه‌ریزی برای درمان.

عملکرد مدل‌ها در مراحل مختلف

• تشخیص نهایی: مدل‌های زبانی در رسیدن به تشخیص نهایی، به ویژه با دریافت اطلاعات جامع، دقت بالایی داشتند و نرخ موفقیت آن‌ها بین ۶۰ تا ۹۰ درصد بود.
• تشخیص افتراقی: تمامی مدل‌ها در بیش از ۸۰ درصد مواقع در مرحله حیاتی تشخیص افتراقی ناموفق عمل کردند. تشخیص افتراقی فرآیندی است که طی آن پزشکان یک بیماری را از سایر بیماری‌ها با علائم مشابه تمایز می‌دهند.

در میان مدل‌های آزمایش شده، گراک ۴، جی‌پی‌تی ۵، جی‌پی‌تی ۴.۵، کلود ۴.۵ اوپوس، جمینای ۳ فلش و جمینای ۳ پرو عملکرد بهتری نسبت به سایرین از خود نشان دادند، اما همچنان با چالش‌های اساسی در تشخیص افتراقی روبرو بودند.

ضرورت حضور انسان در کنار هوش مصنوعی

پژوهشگران تأکید می‌کنند که مدل‌های عمومی هوش مصنوعی فاقد مهارت‌های کافی برای استدلال بالینی هستند و برای کاربردهای پزشکی باید به سراغ مدل‌های تخصصی‌تر رفت. با این حال، حتی در صورت استفاده از هوش مصنوعی در امور پزشکی، حضور و نظارت انسان در این فرآیند کاملاً ضروری است تا نتایج کار به دقت بررسی و تأیید شوند. این تحقیق که نتایج آن در ژورنال JAMA Network Open منتشر شده، بر اهمیت رویکرد محتاطانه و ترکیبی از فناوری و تخصص انسانی در آینده پزشکی تأکید دارد.