توصیه‌های پزشکی چت‌بات‌ها: خطری پنهان در کمین کاربران

بررسی عملکرد چت‌بات‌ها در حوزه سلامت

در این پژوهش، محققان ۲۵۰ پرسش در حوزه‌های متنوع سلامت از جمله سرطان، واکسن، سلول‌های بنیادی، تغذیه و ورزش را از پنج چت‌بات مطرح (گراک، جمینای، Meta AI، دیپ‌سیک و ChatGPT) پرسیدند. این پرسش‌ها به گونه‌ای طراحی شده بودند که بازتاب‌دهنده سؤالات رایج کاربران در دنیای واقعی باشند. هدف اصلی این مطالعه، ارزیابی میزان هم‌خوانی پاسخ‌های چت‌بات‌ها با شواهد علمی و شناسایی موارد انحراف به سمت توصیه‌های گمراه‌کننده یا حتی خطرناک بود.

نقص و خطای گسترده در توصیه‌های پزشکی

نتایج این پژوهش نشان داد که در موضوعات پزشکی، نیمی از پاسخ‌های این چت‌بات‌ها دارای نقص، خطا یا اطلاعات گمراه‌کننده بوده‌اند. محققان تأکید می‌کنند که نوع پرسش تأثیر قابل‌توجهی بر کیفیت پاسخ‌ها دارد. ضعیف‌ترین عملکرد مربوط به سؤالات باز و کلی بود؛ دقیقاً همان نوع پرسش‌هایی که کاربران به‌طور معمول مطرح می‌کنند. این سبک پرسش‌ها باعث شد چت‌بات‌ها پاسخ‌هایی تولید کنند که اغلب ترکیبی از اطلاعات صحیح و ادعاهای نادرست یا اغراق‌آمیز بودند.

در مقابل، پرسش‌های بسته و ساختاریافته، مانند سؤالات چندگزینه‌ای، به پاسخ‌های ایمن‌تر و دقیق‌تر منجر شدند. این یافته نشان می‌دهد که کاربران به ندرت سؤالات پزشکی را به صورت دقیق و قالب‌بندی‌شده مطرح می‌کنند؛ آن‌ها بیشتر به دنبال پاسخ‌هایی برای سؤالاتی مانند «آیا فلان درمان مؤثر است؟» یا «آیا این واکسن ایمن است؟» هستند که همین سبک پرسش‌ها، چت‌بات‌ها را به سمت پاسخ‌هایی سوق می‌دهد که مرز میان واقعیت و اطلاعات گمراه‌کننده را کم‌رنگ می‌کند.

مشکلات منابع و عدم شفافیت

یکی دیگر از مشکلات اساسی، به کیفیت منابع ارجاعی بازمی‌گردد. پژوهشگران گزارش داده‌اند که میانگین کامل‌بودن ارجاعات تنها حدود ۴۰ درصد بوده و هیچ‌یک از چت‌بات‌ها نتوانسته‌اند فهرست منابع کاملاً دقیق و قابل اتکایی ارائه دهند. حتی در برخی موارد، منابع جعلی در پاسخ‌ها مشاهده شده است. این در حالی است که پاسخ‌ها با اطمینان بالا ارائه شده‌اند و تقریباً هیچ هشدار یا اشاره‌ای به محدودیت‌ها در آن‌ها وجود نداشته است.

این مسئله اهمیت ویژه‌ای دارد، زیرا یکی از دلایل اصلی اعتماد کاربران به چت‌بات‌ها، ظاهر مستند و حرفه‌ای پاسخ‌هاست. اما این مطالعه به وضوح نشان می‌دهد که این ظاهر می‌تواند فریبنده باشد و با بررسی دقیق منابع، اعتبار پاسخ‌ها زیر سؤال می‌رود.

محدودیت‌های مطالعه

پژوهشگران به محدودیت‌های این مطالعه نیز اشاره کرده‌اند. این بررسی تنها پنج چت‌بات را شامل می‌شود و از آنجا که این ابزارها به سرعت در حال تغییر و بهبود هستند، ممکن است نتایج در آینده متفاوت باشد. همچنین، پرسش‌ها به گونه‌ای طراحی شده بودند که مدل‌ها را تحت فشار قرار دهند؛ بنابراین، ممکن است میزان خطا در استفاده روزمره کمتر از نتایج این مطالعه باشد.