هشدار گوگل: دقت چت‌بات‌های هوش مصنوعی زیر 70 درصد است؛ اعتماد کورکورانه ممنوع!

هشدار دیپ‌مایند گوگل: دقت چت‌بات‌های هوش مصنوعی زیر ۷۰ درصد است

با وجود پیشرفت‌های چشمگیر در حوزه هوش مصنوعی، نتایج یک تحقیق جدید که توسط دیپ‌مایند گوگل انجام شده، نشان می‌دهد که کاربران نباید به پاسخ‌های چت‌بات‌های امروزی اعتماد کامل داشته باشند. بر اساس بنچمارک FACTS، حتی پیشرفته‌ترین مدل‌های هوش مصنوعی جهان نیز نمی‌توانند از مرز دقت ۷۰ درصد فراتر روند؛ به این معنی که از هر سه پاسخی که دریافت می‌کنید، احتمالاً یکی از آن‌ها نادرست است، حتی اگر با اطمینان کامل بیان شده باشد.

معیار جدید سنجش صحت اطلاعات: بنچمارک FACTS

برخلاف تست‌های سنتی که صرفاً توانایی حل مسئله مدل‌ها را ارزیابی می‌کنند، بنچمارک جدید گوگل دیپ‌مایند به طور انحصاری بر دقت و صحت اطلاعات تمرکز دارد. این آزمون مدل‌های زبانی بزرگ را در چهار حوزه کلیدی تحت بررسی قرار می‌دهد تا میزان قابل اعتماد بودن آن‌ها مشخص شود.

چهار محور اصلی بنچمارک FACTS

• آیا مدل می‌تواند به سؤالات واقعی تنها با تکیه بر دانش درونی و آموزش‌های خود پاسخ دهد؟
• آیا مدل توانایی جستجو و یافتن اطلاعات دقیق و به‌روز از طریق اینترنت را دارد؟
• آیا مدل صرفاً از متنی که به او داده شده استفاده می‌کند یا اطلاعات غلط و خیالی (Hallucination) به پاسخ اضافه می‌کند؟
• آیا مدل می‌تواند نمودارها، تصاویر و دیاگرام‌های بصری را به درستی تفسیر و تحلیل کند؟

نتایج تحقیق و صدرنشینی جمینای ۳ پرو

نتایج این بنچمارک فاصله قابل توجهی بین ادعاهای موجود و واقعیت عملکرد مدل‌ها را آشکار می‌سازد. در صدر لیست، مدل جمینای ۳ پرو متعلق به گوگل قرار دارد که با کسب امتیاز کلی ۶۹ درصد، دقیق‌ترین مدل در میان رقبای فعلی شناخته شده است. رتبه‌بندی سایر مدل‌ها نیز در تصویر زیر قابل مشاهده است.

پاشنه آشیل مدل‌ها: ضعف در تحلیل چندوجهی

یکی از نگران‌کننده‌ترین یافته‌های این تحقیق، ضعف شدید تمامی مدل‌ها در بخش چندوجهی (Multimodal) است. در این بخش، دقت پاسخ‌ها اغلب به زیر ۵۰ درصد می‌رسد. این مسئله حائز اهمیت فراوانی است، زیرا کاربران ممکن است از هوش مصنوعی بخواهند داده‌های حیاتی مانند یک نمودار مالی پیچیده یا یک گزارش پزشکی تخصصی را تحلیل کند.

اگر یک چت‌بات نتواند عدد صحیح را از یک نمودار استخراج کند یا جهت‌گیری نمودار فروش را به اشتباه تفسیر کند، عواقب آن می‌تواند در حوزه‌هایی مانند بورس، حقوق و سلامت فاجعه‌بار باشد و زیان‌های جبران‌ناپذیری به بار آورد.

لزوم نظارت انسانی و پرهیز از اعتماد کورکورانه

تحقیق گوگل به وضوح توصیه می‌کند که کاربران نباید به چت‌بات‌های هوش مصنوعی اعتماد کورکورانه داشته باشند. اگر یک خبرنگار تنها ۶۹ درصد مواقع حقیقت را بگوید، فوراً اخراج می‌شود؛ اما ما همین سطح از خطا را از هوش مصنوعی می‌پذیریم. به همین دلیل، در مشاغلی که با اطلاعات حساس و مهم سروکار دارند، مانند وکلا و پزشکان، استفاده از چت‌بات‌ها بدون نظارت دقیق انسانی می‌تواند بسیار خطرناک و زیان‌بار باشد.